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Kurzfassung 


Gemäß des aktuellen Stands der Technik benötigen automatisierte Fahrzeuge 
eine präzise kartenrelative Eigenlokalisierung, um sich zuverlässig, sicher und 
effizient im dynamischen Straßenverkehr zu bewegen. Karten können frühzei- 
tig Informationen aus der Umgebung bereitstellen, die mit der Bordsensorik 
aufgrund von Verdeckungen oder begrenzter Wahrnehmungsdistanz nicht er- 
fasst werden können. 


Diese Aufgabe kann im vor- und innerstädtischen Umfeld aufgrund von Si- 
gnalabschattung nicht zuverlässig durch globale Satellitennavigationssysteme 
gelöst werden. Bildbasierte Lokalisierungsmethoden stellen eine robuste und 
kostengünstige Alternative dar. Jedoch hat eine Karte nur eine begrenzte Gül- 
tigkeitsspanne, da sich die kartierte, als statisch angenommene Umwelt auf- 
grund einer Vielzahl äußerer Einflüsse stetig verändert. Ein weiteres Problem 
aktueller Lokalisierungsansätze ergibt sich durch den begrenzten Wahrneh- 
mungsbereich eines monoskopischen Kamerasystems. Ist die Sicht auf die 
kartierte Umwelt gestört, führt dies häufig zu einem Ausfall der Lokalisie- 
rung. Die vorliegende Arbeit setzt sich mit diesen beiden Problemfällen aus- 
einander. Dem Problem der Kartenalterung wird durch eine kontinuierliche 
Aktualisierung der bestehenden Karte durch Integration weiterer Merkmale 
aus neuen Befahrungen des kartierten Gebiets entgegengewirkt. Der Fokus 
liegt dabei auf einer robusten, effizienten und skalierbaren Methode, die eine 
fortlaufende Kartenaktualisierung unabhängig von der Länge der Aufnahme- 
fahrten und unabhängig von der Anzahl der Kartierungsiterationen ermög- 
licht. Den zweiten Schwerpunkt der Arbeit stellt die Verwendung eines Multi- 
Kamera-Systems zur Kartengenerierung und zur Lokalisierung dar, wodurch 
die Genauigkeit, Verfügbarkeit und Flexibilität im Vergleich zu monoskopi- 
schen Systemen gesteigert werden kann. 


Grundbaustein der Methode sind Merkmalspunkte, die in den aufgezeichneten 
Kamerabildern detektiert und zu in der Karte gespeicherten Merkmalspunkten 
assoziiert werden. Dafür wird eine universelle Assoziationsmethode vorge- 
stellt, die Information über die geometrische Anordnung der Kameras nutzt 
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um den Suchraum effizient einzuschränken. So ist auch bei starken perspekti- 
vischen Veränderungen eine robuste Merkmalsassoziation möglich. 


Ein fundamentales Problem der Kartenaktualisierung ist die stetig wachsende 
Anzahl der Kartenparameter und -merkmale. Aus theoretischer Sicht können 
die Kartenparameter am besten gemeinsam durch Lösen eines einzelnen, um- 
fassenden Bündelblockausgleichsproblems bestimmt werden. Aufgrund be- 
grenzter Hardwareressourcen ist dies praktisch jedoch nicht möglich. Daher 
wird das kartierte Gebiet in kleine Bereiche unterteilt und für jeden Bereich 
unabhängig ein separates Bündelblockausgleichsproblem gelöst. Die Teillö- 
sungen werden schlussendlich durch Lösen eines Posendifferenzenausgleichs- 
problems zu einer konsistenten Kartenrepräsentation zusammengeführt. Die 
so erstellte Kartenbasis stellt die Grundlage für eine Merkmalsselektion dar, 
wodurch für die Lokalisierung geeignete Merkmale auf Basis einer Wiederer- 
kennungsbewertung identifiziert werden. Auf diese Weise bleibt die zu spei- 
chernde Informationsmenge der Lokalisierungskarte gebietsweise begrenzt 
und es wird eine zuverlässige Lokalisierung über lange Zeiträume ermöglicht. 


Die entwickelte Multi-Kamera-Lokalisierung umfasst zwei Teilsysteme. Das 
erste Teilsystem basiert auf dem Prinzip der merkmalsbasiertern Ortswieder- 
erkennung und bestimmt fortlaufend den Aufenthaltsort des Egofahrzeugs in 
der Karte. Das zweite Teilsystem schätzt eine hochgenaue kartenrelative Fahr- 
zeugpose in sechs Freiheitsgraden. Dafür wird eine Kartenstruktur vorgestellt, 
welche die kartierten Merkmale effizient bereitstellt. Die Verwendung eines 
Multi-Kamera-Systems steigert bei beiden Teilsystemen die Genauigkeit und 
Robustheit der Lokalisierung gegenüber der Verwendung einer einzelnen Ka- 
mera. Außerdem ermöglicht die entwickelte Methode eine präzise Lokalisie- 
rung bei Befahrung des kartierten Gebiets in beliebiger Orientierung. 


Die vorgestellte Kartengenerierungs- und Lokalisierungsmethode wurde in 
mehreren Projekten zum automatisierten Fahren erfolgreich eingesetzt und ist 
seit mehreren Jahren das Fundament eines Projekts zur Erprobung des karten- 
basierten vollautomatischen Fahrens in innerstädtischen Gebieten in Karlsru- 
he. 
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Abstract 


Automated vehicles heavily rely on accurate self-localization to operate safely 
and efficiently in dynamic road traffic scenarios. Using maps enables to pro- 
vide information of the surrounding structure prematurely which cannot be 
measured with on-board sensors due to occlusions or limited sensor ranges. 


Global navigation satellite systems are not reliable in urban environments due 
to multipath and shadowing effects. Vision-based localization upon a pre- 
viously created map offers a promising alternative. However, environmental 
changes lead to obsolescence of a once created map. A further problem of 
current vision-based localization approaches arises from the bounded field of 
view of a monoscopic camera system which is subject to failure in case of poor 
visibility conditions. The present work proposes solutions to overcome these 
two drawbacks. The problem of the obsolescence of a static map is tackled by 
updating the map iteratively after passing the mapped area again. In this work, 
an iterative and robust approach to create highly accurate maps comprising 
any number of drives of arbitrary length with constant computation complexi- 
ty is proposed. Furthermore, a high-precision self-localization method using 
multiple cameras covering the surrounding environment is presented. 


The basic element of the proposed method are feature points which are de- 
tected in the recorded images and matched to features stored in the map. A 
universal matching approach which efficiently shrinks the search space based 
on knowledge of the geometric configuration of the cameras is proposed in 
this work. By this, robust feature matching can be achieved under large per- 
spective variations. 


Bundling more and more passes of partly overlapping areas into a single map 
leads to an unbounded growing number of poses, landmarks and features. 
Theoretically, solving a single joint bundle adjustment problem achieves the 
best possible estimate of these map parameters. However, this is unfeasible 
in practice due to limited hardware resources. Therefore, the map is divided 
into disjoint clusters. The poses and landmarks of each cluster are estimated 
independently by solving bundle adjustment problems of constant complexity 
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for each cluster. To achieve a consistent map representation, all clusters are 
interconnected afterwards by solving a pose-graph adjustment problem. This 
enables to select features in order to create a localization map which has lo- 
cally a bounded size and preserves reliable localization estimates in different 
environmental conditions over long periods of time. 


The proposed surround view localization system consists of two subsystems. 
The first one is a feature-based multi view place recognition approach which 
continuously estimates a rough position of the ego-vehicle in the map. The 
other subsystem estimates a high-precision six degrees of freedom pose esti- 
mate. For that, a novel map structure which efficiently provides the mapped 
features with respect to a surround view camera system is proposed. For both 
systems, it is shown that using multiple cameras leads to superior results in 
terms of accuracy, availability and robustness compared to a monoscopic sys- 
tem. Furthermore, it is demonstrated that the proposed method enables precise 
localization while passing the mapped area at any vehicle orientation. 


The methods for localization and mapping proposed in this work were suc- 
cessfully applied in several automated driving projects and are the basis of a 
project to test algorithms for map-based automated driving in inner-city areas 
in Karlsruhe for several years. 
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1 Einleitung 


Das Automobil hat sich im Laufe des 20. Jahrhunderts als das Mittel der Wahl 
zur individuellen Mobilität etabliert. Eine weltweit engmaschig ausgebaute 
Straßeninfrastruktur ermöglicht eine flexible Beförderung von Personen und 
Gütern über große Distanzen. Aufgrund der hohen Komplexität und Diversi- 
tät des modernen Straßenverkehrs werden heutzutage alle Kraftfahrzeuge auf 
öffentlichen Straßen von Menschen gesteuert. Das Verständnis der wahrge- 
nommenen Umgebung und die Ableitung und Ausführung daraus resultieren- 
der angemessener Handlungen sind kognitiv höchst anspruchsvoll. Aufgrund 
dieser hohen Anforderungen können automatisierte Fahrzeuge diese Aufgabe 
noch nicht vollumfänglich bewältigen. Jedoch zeigt beispielsweise die Un- 
fallstatistik [1] von 2016 auf deutschen Straßen mit über 3.000 Unfällen mit 
Todesfolge, dass der Faktor Mensch im Straßenverkehr ein hohes Gefahren- 
potenzial darstellt. Durch zunehmende Automatisierung des Automobils kann 
der Faktor Mensch zunehmend ausgeschlossen werden und so langfristig ein 
sichererer und effizienterer Straßenverkehr erreicht werden. Daher ist die Ent- 
wicklung von höheren Automatisierungsstufen bis hin zu einer vollständigen 
Automatisierung des Straßenverkehrs im öffentlichen Interesse [2]. 


Gemäß des aktuellen Stands der Technik sind präzise verortete Kartendaten 
unverzichtbar für das hochautomatisierte Fahren [3]. Karten ermöglichen eine 
schnelle und effiziente Bereitstellung von geometrisch verorteten Informatio- 
nen der quasi-statischen Umwelt. Die in einer Karte abgelegten Informationen 
können ohne zusätzlichen Berechnungsaufwand zur Laufzeit bereitgestellt 
werden. Auch können Karten frühzeitig Informationen bereitstellen, die mit 
der verfügbaren Sensorik beispielsweise aufgrund von Verdeckungen oder be- 
grenzter Wahrnehmungsdistanz nicht erfasst werden können. Heutzutage be- 
nötigt bereits eine Vielzahl von Anwendungen, beispielsweise die Erkennung 
und Prädiktion anderer Verkehrsteilnehmer, die Umgebungsinterpretation, die 
Verhaltensentscheidung oder die Manöverplanung, aus Karten bereitgestelltes 
Wissen, um robust und zuverlässig die jeweiligen Aufgaben bewältigen zu 
können [4]. 


1 Einleitung 


Um die in einer Karte abgelegten Informationen nutzen zu können, ist eine 
Schätzung der eigenen Position und Orientierung innerhalb der Karte notwen- 
dig. Je genauer und detaillierter die in der Karte abgelegten Informationen 
dabei sind, desto höher sind die Anforderungen an die Genauigkeit und Ro- 
bustheit der Lokalisierung. Üblicherweise werden zu diesem Zweck inertiale 
Messeinheiten (IMU) und globale Satellitennavigationssysteme (GNSS) kom- 
biniert. Diese Systeme sind jedoch in urbanen Gebieten, aufgrund von Ab- 
schattung und Mehrwegeausbreitung, nicht zuverlässig. Da Kameras günstig, 
wartungsarm und im Vergleich zu Laserscannern platzsparend sind, werden 
bereits heute viele Fahrzeuge mit Kameras ausgestattet, sodass es günstig ist, 
diese auch zur Lokalisierung zu verwenden. 


Aktuelle Ansätze zur visuellen Lokalisierung im Bereich des automatischen 
Fahrens [5], [6] zeigen, dass in Umgebungen, in denen selbst präzise GNSS- 
/IMU-Ansätze versagen, eine zuverlässige Lokalisierung gewährleistet wer- 
den kann. Dabei hat es sich etabliert, eine vorab erstellte Lokalisierungskarte 
zu verwenden. Im Gegensatz zu den Simultaneous-Localization-and-Mapping 
(SLAM) [7]-[11] Ansätzen trennt dieses Vorgehen die Lokalisierung und die 
Kartengenerierung voneinander, wodurch eine akausale Datenverarbeitung 
möglich ist und keine Echtzeitverarbeitung zur Kartengenerierung erforder- 
lich ist. Dadurch kann die Karte robuster und genauer als bei klassischen 
SLAM-Methoden geschätzt werden. Des Weiteren werden zur Lokalisie- 
rungszeit Ressourcen gespart, da keine Karte parallel berechnet oder aktuali- 
siert werden muss. 


Zu Beginn der Arbeit haben Lategahn et al. [6] im Rahmen der Bertha-Benz- 
Fahrt (BBF) [4] gezeigt, dass das kartenbasierte automatische Fahren im öf- 
fentlichen Straßenverkehr mit Punktmerkmalskarten möglich ist. In dicht be- 
bauten Gebieten mit viel markanter Struktur werden genug Punktmerkmale 
mit einer einzelnen Kamera detektiert und korrekt zu Kartenlandmarken as- 
soziiert, sodass eine präzise Lokalisierungspose geschätzt werden kann. An- 
dererseits musste für das Fahren in ländlichen Gebieten und auf größeren 
Zubringerstraßen eine zusätzliche Lokalisierungsmethode unter Verwendung 
von Fahrbahnmarkierungen und GNSS verwendet werden, da in diesen Be- 
reichen nur wenig markante Umgebungsstruktur vorhanden ist. Der Wechsel 
zwischen den verschiedenen Lokalisierungsystemen ist allerdings problema- 
tisch und muss sorgfältig vorbereitet werden. 


1.1 Ziele der Arbeit 


Ein weiteres Problem ergibt sich dadurch, dass Karten i. A. eine statische 
Umwelt repräsentieren. Die Annahme einer statischen Umwelt hat auf öf- 
fentlichen Straßen jedoch nur eine begrenzte Giiltigkeitsspanne, insbesonde- 
re bei der Verwendung von Punktmerkmalen [12]. Fiir eine Anwendung wie 
der Bertha-Benz-Fahrt muss die Lokalisierungskarte stets deckungsgleich mit 
weiteren Kartenschichten, wie beispielsweise der Planungskartenschicht, sein. 
Daher ist die Erzeugung einer gänzlich neuen Karte problematisch, da alle an- 
deren Kartenschichten ebenfalls neu erstellt bzw. angepasst werden müssen. 


Die vorliegende Arbeit basiert auf der Arbeit von Lategahn et al., greift die 
zuvor genannten Schwächen auf und stellt Methoden bereit, um sowohl das 
Problem der Kartenalterung zu lösen als auch die Robustheit und Verfügbar- 
keit der Lokalisierung durch Verwendung mehrerer Kameras zu steigern. 


1.1 Ziele der Arbeit 


Die vorliegende Arbeit hat zum einen die Entwicklung einer vollumfäng- 
lichen Methode zur Erstellung und Aktualisierung von hochgenauen 3D- 
Lokalisierungskarten und zum anderen die Umsetzung einer Methode zur 
präzisen und robusten Lokalisierung zum Ziel. Die Methode erfordert die 
Verwendung von mindestens einer Kamera, die am zu lokalisierenden Fahr- 
zeug angebracht ist. Der Fokus liegt jedoch auf der Verwendung eines Multi- 
Kamera-Systems (MKS) [5], welches große Teile des Fahrzeugumfelds wahr- 
nimmt. Durch die Verwendung eines Multi-Kamera-Systems sollen die Ge- 
nauigkeit, Verfügbarkeit und Flexibilität der Lokalisierung im Vergleich zu 
monoskopischen Systemen verbessert werden. 


Sowohl die Kartengenerierung als auch die Lokalisierung umfassen mehrere 
aufeinanderfolgende Prozessschritte. Ausgehend von der Bildaufnahme bis 
hin zur Bestimmung und Validierung von Fahrzeugposen und Landmarken 
ergibt sich eine Vielzahl unterschiedlicher Themenfelder und Potenziale zur 
Verbesserung bestehender Methoden. Diese Arbeit fokussiert dabei: 


e die vollautomatische, robuste und skalierbare Erzeugung und Aktuali- 
sierung einer Kartendatenbank durch iterative Integration weiterer Auf- 
nahmesequenzen von Befahrungen des gleichen Gebiets (engl. large- 
scale multi-session mapping). 
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e die Entwicklung einer Methode zur robusten kamerabasierten Ortswie- 
dererkennung und initialen Orientierungsschätzung des Egofahrzeugs 
(engl. multi-view place recognition). 


e die Umsetzung einer genauen und vielseitig verfügbaren Lokalisierung 
mittels eines MKS, welches zusätzlich die Möglichkeit bietet, die Karte 
in unterschiedliche Richtungen zu befahren (engl. multi-view 6-DOF 
localization). 


e die statistikbasierte Merkmalsselektion zur Bestimmung einer langzeit- 
verfügbaren Lokalisierungskarte (engl. life-long localization). 


Die vorgestellten Methoden basieren im Wesentlichen auf geometrischen Be- 
trachtungen und sind daher unabhängig von den verwendeten Merkmalen und 
Merkmalsdeskriptoren. Bei den durchgeführten Experimenten wurden stets 
Ecken- und Blob-Merkmalsdetektoren [13] sowie der DIRD-Deskriptor [14] 
verwendet. Es ist aber auch die Verwendung einer beliebigen anderen Kombi- 
nation aus Detektoren und Deskriptoren möglich, da alle Varianten den glei- 
chen projektiven und geometrischen Einschränkungen unterliegen. 


In Abschnitt 1.1.1 werden zunächst die Aspekte der Kartierung motiviert und 
abgegrenzt. Darauffolgend werden in Abschnitt 1.1.2 die in der Arbeit entwi- 
ckelten Lokalisierungskomponenten aufgezeigt. 


1.1.1 Kartengenerierung 


In der Arbeit von Lategahn et al. [6] wurde die Lokalisierungskarte aus- 
schließlich aus einer einzelnen Befahrung erzeugt. Eine einmalig erzeugte 
Karte hat jedoch nur eine begrenzte Gültigkeitsspanne, da sich die Umge- 
bung beispielsweise durch Witterungsänderungen, Baustellen oder aufgrund 
parkender Fahrzeuge verändert. Je nach Jahreszeit, Umgebung und Art der 
verwendeten Merkmale führt dies mit zunehmendem Alter der Karte zu ei- 
ner Verschlechterung bzw. zum Ausfall der Lokalisierung. Durch eine erneute 
Befahrung des kartierten Gebiets kann die bestehende Karte erweitert und ak- 
tualisiert werden und so langfristig eine aktuelle Karte zur Verfügung gestellt 
werden [15]-[17]. Die Aktualisierung soll bereits kartierte, langzeitverfügba- 
re Merkmale beibehalten und aktualisieren, nicht wiedererkannte Merkmale 
entfernen und neu detektierte Merkmale der Karte hinzufügen. Wird zusätz- 
lich bisher unkartiertes Gebiet befahren, wird die bestehende Karte um den 
neu befahrenen Bereich erweitert. 


1.1 Ziele der Arbeit 


Das im Rahmen der Arbeit entwickelte Kartierungsframework ermöglicht die 
vollautomatische iterative Generierung von hochgenauen 3D-Lokalisierungs- 
karten unter Verwendung aufgezeichneter Kamerabilder aus verschiedenen 
Befahrungen von teilweise überlappenden Gebieten. Werden zusätzliche In- 
formationen der Fahrzeugbewegung beispielsweise aus Fahrzeugodometern 
oder GNSS-Messungen bereitgestellt, können diese zur Bewegungsschätzung 
bzw. zur geodäsischen Verortung der Karte verwendet werden. Der Fokus der 
Kartierungsmethode liegt dabei auf den folgenden Gesichtspunkten: 


Skalierbarkeit 


Durch die Hinzunahme immer weiterer Befahrungen in die bestehende Karte 
wächst der Speicher- und Rechenaufwand zur Schätzung der Kartenlandmar- 
ken und Kartenposen stetig. In der Arbeit von Muehlfellner et al. [18] wurde 
durch Landmarkenselektion ein begrenzter Speicherbedarf erzielt. Die Be- 
stimmung der Kartenposen und -landmarken wurde jedoch auf einem Rechen- 
cluster durchgeführt, da der Berechnungsaufwand zur numerischen Lösung 
des zugrunde liegenden Bündelblockausgleichsproblems die Kapazitäten von 
durchschnittlichen Rechnern weit übersteigt. Diese Arbeit stellt demhingegen 
ein iteratives und flexibles Konzept zur hochgenauen Referenzierung belie- 
big vieler Befahrungen mit stets begrenztem Speicher- und Rechenaufwand 
bereit. Zur Bestimmung der Kartenparameter werden mehrere lokale Bündel- 
blockausgleichsprobleme gelöst, die jeweils nur einen begrenzten Bereich des 
kartierten Gebiets umfassen. Die Ergebnisse dieser lokalen Optimierungen 
werden in Form von Posendifferenzen gespeichert und mit diesen darauffol- 
gend die finalen Kartenposen geschätzt. Die abgeleiteten Posendifferenzen 
überführen dabei die erzielte lokale Genauigkeit der lokalen Optimierung in 
die finale Trajektorienschätzung. Durch dieses Vorgehen ist der Speicher- und 
Berechnungsaufwand aller Kartierungsschritte deterministisch begrenzt. Da- 
her können beliebig viele und beliebig lange Befahrungen in die Karte in- 
tegriert werden. Die durchgeführten Experimente zeigen, dass durch dieses 
Vorgehen lokal hochgenaue Kartenposen geschätzt werden. Das vorgestell- 
te Kartierungsframework ermöglicht somit die Schätzung von konsistenten 
dreidimensionalen Mehrfachbefahrungskarten für beliebig große Gebiete auf 
Basis beliebig langer Aufnahmesequenzen aus beliebig vielen Befahrungen. 


Effizienz 


Die Optimierung der lokalen Bündelblockausgleichsfenster ist der Kartie- 
rungsschritt mit dem mit Abstand höchsten Rechenaufwand. Da aus dieser 
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Optimierung nur relative Informationen in Form abgeleiteter Posendifferen- 
zen und Merkmalskorrespondenzen gespeichert und weiterverwendet werden, 
kann jedes lokale Biindelblockausgleichsproblem parallel und ohne wech- 
selseitige Abhängigkeit zu anderen Optimierungsfenstern berechnet werden. 
Somit kann die verfügbare Rechenkapazität bestmöglich ausgenutzt und die 
gemeinsame Trajektorienschätzung effizient beschleunigt werden. Das ent- 
wickelte Kartierungsframework unterstützt so die effiziente Berechnung von 
Karten auf handelsüblichen Desktop-Computern, auf verteilten Systemen als 
auch auf massiv parallelisierenden Rechenclustern sowie Cloud-Computing. 


Robustheit 


Sowohl in [6] als auch in [18] werden hauptsächlich abgegrenzte innerstäd- 
tische Bereiche mit ausreichend markanter Umgebungsstruktur kartiert. Wer- 
den größere Gebiete mit mehr Umgebungsvariation vollautomatisch kartiert, 
erhöht sich die Wahrscheinlichkeit, dass, aufgrund von zu wenig verfügba- 
ren oder falsch assoziierten Merkmalskorrespondenzen, die Kartenschätzung 
fehlerhaft wird. Das in dieser Arbeit entwickelte Kartierungsframework ana- 
lysiert daher zum einen die berechneten Zwischenergebnisse auf Fehler und 
Ungenauigkeiten. Zum anderen ermöglicht die vorgestellte Optimierungsstra- 
tegie, dass die bestehende Karte innerhalb von wenigen Minuten auf Basis 
der abgeleiteten Posendifferenzen vollständig neu geschätzt werden kann. So 
können detektierte Kartenfehler mit vernachlässigbarem Aufwand beispiels- 
weise durch Anpassung von Optimierungsgewichten oder Hyperparametern 
korrigiert werden. 


1.1.2 Multi-Kamera-Lokalisierung 


Die in dieser Arbeit entwickelte Lokalisierungsmethode erzielt eine echtzeit- 
fähige und zentimetergenaue Lokalisierung für beliebige Fahrzeugorientie- 
rungen, sofern Beobachtungen aus verschiedenen Blickrichtungen vorliegen. 
Dies ermöglicht auch dann eine zuverlässige Lokalisierung, wenn die kartier- 
te Strecke in entgegengesetzter Richtung befahren wird. Außerdem wird die 
Lokalisierung durch die Verwendung mehrerer Kameras robuster. Bei einem 
Ausfall einzelner Kameras beispielsweise durch einen technischen Defekt, 
intensive Sonneneinstrahlung oder großflächige Verdeckung kann die Loka- 
lisierung mit den verbleibenden, funktionierenden Kameras aufrechterhalten 
werden. Abbildung 1.1 zeigt exemplarisch solche Problemfälle. Durch den er- 
weiterten Erfassungsbereich eines MKS wird zusätzlich die Genauigkeit der 
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Abbildung 1.1: Verschiedene Problemszenarien. Links: Großflächige Verdeckung durch dynami- 
sche Objekte. Rechts: Schlechte Sichtbedingungen durch starke Sonneneinstrahlung. 


Lokalisierung verbessert, da in der Regel mehr Kartenlandmarken aus einem 
größeren Winkelspektrum als bei einem monoskopischen Kamerasystem er- 
fasst werden. 


Die Lokalisierungsmethode durchläuft in jedem Schritt zwei Phasen. In der 
ersten Phase wird der ungefähre Aufenthaltsort des Fahrzeugs in der Karte be- 
stimmt. Diese Schätzung wird darauffolgend als Initialisierung für eine hoch- 
genaue metrische Lokalisierung verwendet. Für beide Phasen wurde im Rah- 
men der Arbeit eine Methode entwickelt, die das erweiterte Sichtfeld eines 
MKS effizient ausnutzt. 


Ortswiedererkennung 


Zur erstmaligen Initialisierung der Lokalisierung wird der wahrscheinlichs- 
te Aufenthaltsort des Fahrzeugs durch eine bildbasierte Ortswiedererkennung 
bestimmt. Dazu speichert die Karte holistische Merkmale zu allen kartierten 
Orten. Diese Merkmale werden aus den aufgezeichneten Kamerabildern ge- 
wonnen. Durch einen Abgleich der Merkmale aus den aktuellen Kamerabil- 
dern mit allen in der Karte gespeicherten Merkmalen wird der wahrschein- 
lichste Aufenthaltsort bestimmt. Die hier vorgestellte Methode evaluiert al- 
le zu einem Zeitpunkt aufgezeichneten Bilder des MKS und erhöht somit 
die Verfügbarkeit und Robustheit der Ortswiedererkennung gegenüber mono- 
skopischen Ansätzen. Außerdem wird durch eine eindeutige Zuordnung der 
Merkmale zu den verschiedenen Kameras des MKS zusätzlich eine initiale 
Schätzung der Fahrzeugorientierung ermöglicht. 


1 Einleitung 


Metrische Lokalisierung 


Auf Basis einer initialen Lokalisierungsposenschätzung werden in der zweiten 
Phase robust Kartenlandmarken zu aktuell wahrgenommenen Merkmalen as- 
soziiert. Darauf basierend wird die kartenrelative Fahrzeugpose durch robustes 
Lösen eines Ausgleichsproblems hochgenau geschätzt. Die metrische Loka- 
lisierungskarte speichert dazu punktförmige Landmarken sowie dazu korre- 
spondierende Merkmale in einer neu entwickelten Rasterkartenstruktur. Diese 
Struktur ermöglicht eine effiziente und dynamische Bereitstellung der Land- 
marken und Merkmale in Echtzeit. Die bereitgestellten Merkmale werden da- 
für räumlich gruppiert und nach Relevanz sortiert bereitgestellt. Dadurch wird 
zum einen nur eine geeignete Teilmenge aller bereitgestellten Landmarken zu 
den verschiedenen Kameras zugeordnet und zum anderen alle Raumrichtun- 
gen, die das MKS abdeckt, unabhängig von der Umgebungsstruktur gleich- 
verteilt abgetastet. Die entwickelte Kartenstruktur verringert so zum einen den 
Aufwand der Landmarkenassoziation und erhöht zum anderen die Robustheit 
und Genauigkeit der metrischen Lokalisierung. 


1.2 Struktur der Arbeit 


Diese Arbeit setzt sich mit verschiedenen Aspekten der iterativen Generierung 
einer Lokalisierungskarte aus mehreren Befahrungen sowie der dazu korres- 
pondierenden Lokalisierungsmethode auseinander. Obwohl die Kartengene- 
rierung und die Lokalisierung eng miteinander verzahnt sind, werden diese in 
separaten, in sich abgeschlossenen Kapiteln vorgestellt. Alle durchgeführten 
Experimente und Evaluationen sind daher und der Übersichtlichkeit halber in 
die entsprechenden Kapitel eingebettet. 


Nach einer Übersicht und Abgrenzung zu verwandten Arbeiten in Kapitel 2 
werden in Kapitel 3 Rahmenbedingungen definiert, verwendete Versuchsträ- 
ger und Sensorkonfigurationen vorgestellt und Transformationskonventionen 
definiert. 


Die Kartengenerierung und die Lokalisierung basieren auf ähnlichen zugrunde 
liegenden Prinzipien und Verarbeitungschritten. Eine fundamentale gemein- 
same Grundlage ist die Detektion und Beschreibung von Punktmerkmalen 
und deren Assoziation zueinander. Die verwendeten Methoden und geleisteten 
Beiträge zur Merkmalsassoziation werden in Kapitel 4 detailliert beleuchtet. 
Ein Schwerpunkt dieses Kapitels ist die robuste Assoziation von Punktmerk- 
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malen aus verschiedenen Bildern unter Ausnutzung von Information tiber die 
Position und Blickrichtung der Kameras. 


Ein wesentlicher Verarbeitungschritt der Kartengenerierung und der Lokali- 
sierung ist die robuste und effiziente Schätzung von Fahrzeugposen und Land- 
marken durch numerisches Lésen nichtlinearer Gleichungssysteme. Mit der 
Lösung dieser Gleichungssysteme befasst sich das Kapitel 5. Eine robuste In- 
itialisierung der zu schätzenden Parameter ist von fundamentaler Bedeutung 
für die Lösung der aufgestellten Ausgleichsprobleme. Die verwendeten Initia- 
lisierungsmethoden sowie Modelle zur Validierung der geschätzten Parameter 
stellen den zweiten Teil dieses Kapitels dar. 


Kapitel 6 stellt das erste Hauptthema, die effiziente und skalierbare Kartenge- 
nerierung aus mehreren Befahrungen des gleichen Gebiets, dar. Zunächst wird 
die gesamte Prozesskette beschrieben und danach die wesentlichen Elemente 
dieser Kette analysiert und evaluiert. Zur Demonstration der Leistungsfähig- 
keit der vorgestellten Kartierungsmethode wird eine aus vierzehn Befahrungen 
erstellte Karte empirisch beleuchtet und die erzielte Genauigkeit evaluiert. 


Kapitel 7 zeigt die geleisteten Beiträge zur Lokalisierung mittels eines MKS 
auf. Es wird zunächst der Lokalisierungsablauf und das Zusammenspiel der 
Ortswiedererkennung und der metrischen Lokalisierung erläutert. Darauffol- 
gend werden beide Komponenten separat im Detail beschrieben, analysiert 
und evaluiert. 


Die Selektion von Kartenmerkmalen, die in die Lokalisierungskarte überführt 
werden, wird in in Kapitel 8 vorgestellt. Auch wenn dies nicht im Fokus 
dieser Arbeit stehen soll, werden geleistete Arbeiten und die grundlegenden 
Konzepte präsentiert. Zusätzlich wird exemplarisch eine empirische Analyse 
der Selektion von Kartenlandmarken gezeigt. Da die Merkmalsselektion die 
Schnittstelle zwischen der Kartengenerierung und der Lokalisierung darstellt, 
wird diese außerdem zur Darstellung eines umfassenden Bildes des Gesamt- 
systems benötigt. 


Die in dieser Arbeit vorgestellte Kartengenerierung und Lokalisierung wur- 
de in verschiedenen Projekten unter schwierigen Bedingungen erfolgreich an- 
gewendet und stellt aktuell die Grundlage zum automatischen Fahren in in- 
nerstädtischen Bereichen in Karlsruhe dar. Diese Anwendungsfälle werden in 
Kapitel 9 aufgezeigt. Abschließend wird die Arbeit in Kapitel 10 zusammen- 
gefasst. 


2 Stand der Technik 


Dieses Kapitel gibt eine Ubersicht zu aktuellen Arbeiten, die thematisch zu 
dieser Arbeit in Beziehung stehen. Abschnitt 2.1 gibt eine Übersicht über ak- 
tuelle Arbeiten aus dem Forschungsbereich SLAM. Im zweiten Abschnitt 2.2 
werden verwandte Arbeiten zur visuellen Lokalisierung aufgezeigt. 


2.1 Kartengenerierung 


SLAM befasst sich mit dem Problem der gleichzeitigen Lokalisierung und 
Kartengenerierung. Die Lokalisierungsschätzung basiert auf einer bestehen- 
den Karte, die während der Lokalisierung parallel erzeugt und aktualisiert 
wird. Erste SLAM-Ansätze basieren auf rekursiven Bayes-Filtern, beispiels- 
weise dem Extended- 

Kalman-Filter (EKF) [7], [19]. Jede neue Landmarke erweitert dabei den zu 
schätzenden Zustandsvektor. In der Praxis ist der Ansatz jedoch nur begrenzt 
verwendbar, da der Zustandsvektor fortlaufend wächst und somit auch der 
Rechen- und Speicheraufwand. Neuere Ansätze [7] formulieren das SLAM- 
Problem als Parametergraph [20]. Bei dieser Formulierung werden alle Land- 
marken und Posen mittels eines Nonlinear-Least-Squares (NLS)-Verfahren 
gleichzeitig geschätzt. Zur Lösung solcher Probleme wird häufig der Leven- 
berg Marquardt-Algorithmus verwendet. Die dünnbesetzte und nur lokal kor- 
relierte Struktur der Messmatrix des SLAM-Problems ermöglicht unter Aus- 
nutzung des Schur-Komplement-Tricks [21] und der Verwendung von Sparse- 
Matrix-Solvern eine effiziente Schätzung aller Posen und Landmarken. Diese 
Methoden haben dazu geführt, dass sich diese SLAM-Variante durchgesetzt 
hat. Eine detailliertere Übersicht zum Forschungsfeld SLAM findet sich in 
[22]. Die in dieser Arbeit vorgestellten Methoden zur Parameterschätzung ba- 
sieren auf den Ideen dieser Ansätze. 


Wie bereits in Kapitel 1 beschrieben, hat es sich im Bereich des automatischen 
Fahrens etabliert, eine vorab erstellte Karte zur Lokalisierung zu verwenden 
[5], [6], [18], [23]. Eine vorab erzeugte Karte unterliegt jedoch den bereits er- 
wähnten Alterungseffekten und wird ohne regelmäßige Aktualisierung obsolet 
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und unzuverlässig. Burki et al. [15] haben gezeigt, dass sich die Gültigkeits- 
spanne einer Punktmerkmalskarte nur über wenige Wochen erstreckt. Wird ei- 
ne bereichsweise Verschlechterung der Lokalisierung festgestellt, wird dieser 
Teil der Karte durch Hinzufügen aktueller Merkmale innerhalb dieses Gebie- 
tes die bestehende Karte aktualisiert. Die Landmarken- und Merkmalsselek- 
tion zur Kartenaktualisierung und zur Verbesserung der Lokalisierung ist der 
Schwerpunkt weiterer Arbeiten [16], [24]-[28]. Die Merkmalsselektion kann 
zusätzlich durch das Entfernen dynamischer Objekte aus den aufgezeichneten 
Bildern unterstützt werden [29]. Das wesentliche Ziel dieser Methoden ist es, 
die Informationsdichte und -güte zu maximieren und gleichzeitig die Menge 
der zu verarbeitenden Daten zu minimieren. 


Abgrenzend zu den genannten Arbeiten fokussiert die vorliegende Arbeit die 
effiziente Schätzung von Kartenposen und -landmarken bei stets begrenztem 
Rechen- und Speicheraufwand innerhalb eines iterativen Kartierungszyklus. 
Diese Arbeit stellt somit eine robuste und skalierbare Grundlage für die zuvor 
genannten Arbeiten dar und erweitert somit deren Anwendungsfeld auf den 
Bereich ganzer Großstädte. Außerdem wird durch Referenzierung der Karte 
zu GNSS-Messungen oder Luftbildreferenzmerkmalen [30] eine global kon- 
sistente Kartenschätzung erzielt. 


Die theoretisch beste Methode zur gemeinsamen Schätzung von Posen und 
Landmarkenparametern ist der Bündelblockausgleich [20], [21], [31], [32]. 
Jedoch übersteigt der Verarbeitungsaufwand zur gemeinsamen Schätzung al- 
ler Parameter, inbesondere bei der Kartierung von stadtgroßen Gebieten, in der 
Regel die verfügbaren Hardwareressourcen [33], [34]. Daher wird im Rahmen 
der Arbeit eine Optimierungsstrategie vorgestellt, die das Gesamtproblem ex- 
plizit in kleinere Teilprobleme aufteilt, diese separat optimiert und schließ- 
lich iterativ zusammensetzt. Ähnliche Ansätze (bekannt als Smoothing-And- 
Mapping (SAM) bzw. Sub-Mapping) wurden bereits in anderen Arbeiten vor- 
gestellt [35]-[37]. Die Aufteilung in die Teilprobleme wird dabei implizit 
durch die Aufteilung der dünnbesetzten Messmatrix bzw. Jacobi-Matrix rea- 
lisiert. Ni et al. [33] haben eine Methode vorgestellt, welche die Linearisie- 
rung der Teilprobleme zwischenspeichert und bei der Zusammenführung für 
die globale Schätzung wiederverwendet. Ein ähnliches Problem ergibt sich 
bei der Zusammenführung von Teilkartenschätzungen verschiedener Agen- 
ten zu einer globalen Schätzung im Rahmen von Multi-Agenten-SLAM Me- 
thoden [11], [38]. Cieslewski et al. [39] haben ein dezentralisiertes Karten- 
Versionsmanagement vorgestellt, wodurch verschiedene Agenten parallel die 


12 


2.2 Visuelle Lokalisierung 


gleiche Karte manipulieren können. Diese wird dann konsistent zusammen- 
geführt. Ein wesentlicher Aspekt dieser Arbeit ist die Reduktion des Informa- 
tionstransfers zwischen den verschiedenen Agenten. Die vorgestellte Kartie- 
rungsmethode unterstützt durch die akausale Datenverarbeitung ebenso eine 
effiziente Zusammenführung von Teilkarten verschiedener Agenten. 


2.2 Visuelle Lokalisierung 


Dieser Abschnitt gibt eine Übersicht über bestehende aktuelle Ansätze zur 
visuellen Lokalisierung. Visuelle Lokalisierung für das automatisierte Fah- 
ren umfasst im Wesentlichen zwei unterschiedliche Klassen. Die erste Klasse 
bilden die sogenannten Ansätze zur Ortswiedererkennung (englisch: place re- 
cognition) [40]. Dabei wird aus der Menge der in der Karte gespeicherten 
Kandidatenposen jener Ort geschätzt, der den aktuellen Bildern am ähnlichs- 
ten ist [41]. Die zweite Klasse stellen die metrischen Lokalisierungsmethoden 
dar, die darauf abzielen, eine möglichst genaue kartenrelative metrische Posi- 
tion und Orientierung des Egofahrzeugs zu schätzen. 


Ortswiedererkennung 


Die meisten Arbeiten zur Ortswiedererkennung fokussieren sich auf die Ver- 
besserung der verwendeten Bilddeskriptoren. Naseer et al. [42] assoziieren 
Sequenzen von aufeinanderfolgenden Bildern durch einen minimalen Asso- 
ziationskostenfluss. Dies ermöglicht eine effiziente Zurückweisung von fal- 
schen Assoziationen durch Teilverdeckungen. Lynen et al. [43] formulieren 
die Wiedererkennung von kartierten Orten als Wahrscheinlichkeitsdichten- 
schätzungsproblem unter Verwendung der ähnlichsten Kartenorte. Eine wich- 
tige Klasse von Ansätzen basiert auf dem sogenannten Bag-of-Images-Ansatz 
[44]. Bei diesem Ansatz werden Bilder anhand einer Selektion von diskrimi- 
nativen visuellen Wörten identifiziert. Dazu werden Vektoren der visuellen 
Wörter aus den Bildern extrahiert und zueinander assoziiert. Raul et al. [9] 
verwenden einen BOW-Ansatz zur robusten Ringschluss-Detektion innerhalb 
von ORB-SLAM2. 


Die junge Erfolgsgeschichte von tiefen Faltungsnetzen (englisch: Convolu- 
tional Neural Network (CNN)) hat dazu geführt, dass in den letzten Jahren 
mehrere Ansätze von CNNs gelernten Deskriptoren veröffentlicht wurden 
[40], [45]. Das Training der Deskriptoren zielt in diesen Arbeiten auf eine 
möglichst hohe Robustheit gegen Umweltveränderungen ab. Sünderhauf et al. 
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[46] detektieren Objektvorschläge mittels eines R-CNN-Faltungsnetzes [47] 
und beschreiben diese durch Extraktion von Merkmalen aus vortrainierten 
Objektklassifizierungs-Netzen. Alle Objektvorschläge werden wechselseitig 
auf Basis der Kosinus-Distanz assoziiert. Auf Basis von Formähnlichkeit der 
assoziierten Objekte wird dann ein Ahnlichkeitswert zwischen den kartierten 
Orten und dem aktuellen Bild bestimmt. 


Lategahn et al. [48] haben maschinell einen Deskriptor trainiert, der insbe- 
sondere robust gegen Beleuchtungsvarationen ist, da unterschiedliche Licht- 
verhältnisse einen wesentlichen Störfaktor für die visuelle Lokalisierung dar- 
stellen. Durch dynamische Programmierung werden konsistente Bildhypothe- 
sensequenzen geschätzt und so falsche Schätzungen zurückgewiesen. In der 
vorliegenden Arbeit wird eine Methode vorgestellt, die den gleichen Deskrip- 
tor verwendet. Im Unterschied dazu wird eine Verfolgung von konsekutiven 
Aufenthaltsposen vorgestellt. Das hat zum Vorteil, dass die Methode robus- 
ter wird, Multi-Kamera-Systeme unterstützt werden und eine Orientierung 
geschätzt werden kann. Die hier vorgestellte Methode ermöglicht die gemein- 
same Nutzung mehrerer Kamerabilder zu einem Zeitpunkt. Es wird gezeigt, 
dass sich die Wiedererkennungsrobustheit und -genauigkeit auf diese Weise 
erhöht. Da die Methode unabhängig vom verwendeten Deskriptor ist, stellt sie 
eine Ergänzung der zuvor genannten Verfahren dar und kann mit beliebigen 
Merkmalstypen verwendet werden. 


Metrische Lokalisierung 


Ein wesentlicher Aspekt der visuellen metrischen Lokalisierung sind die ver- 
wendeten Merkmale. In den Ansätzen von Schreiber et al. [49] und Poggen- 
hans et al. [50] werden Straßenmarkierungen im Kamerabild detektiert und 
mit kartierten Merkmalen assoziiert. Die Straßenmarkierungen werden aus 
virtuellen Luftbildansichten, die aus einem Stereo-Kamerabild erzeugt wer- 
den, extrahiert. Spurmarkierungen haben jedoch aufgrund der hohen Mehr- 
deutigkeit eine hohe Wahrscheinlichkeit, falsch assoziiert zu werden. Außer- 
dem sind Spurmarkierungen in innerstädtischen Bereichen oft nicht gut er- 
kennbar oder nicht vorhanden, sodass in diesen Bereichen keine Lokalisierung 
möglich ist. Diesem Problem kann durch Detektion zusätzlicher semantischer 
Merkmale aus anderen Sensoren wie beispielsweise Laserscannern begegnet 
werden [51]. 


Punktmerkmalsbasierte Ansätze hingegen erfordern keine definierten makro- 
skopischen Strukturtypen, sondern lediglich die Existenz von markanter Um- 
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2.2 Visuelle Lokalisierung 


gebungsstruktur, wodurch sich ein großer Anwendungsbereich ergibt. Mühl- 
fellner et al. [12] haben gezeigt, dass mit seriennahen MKSen prinzipiell ei- 
ne Lokalisierung möglich ist. Grundlegende Konzepte sowie eine Evaluie- 
rung der Lokalisierung auf Basis punktförmiger Landmarken mit Weitwinkel 
Multi-Kamera-Systemen zum automatischen Einparken finden sich in [52]. 


Auch im Bereich der metrischen Lokalisierung sind insbesondere in den letz- 
ten Jahren CNN-basierte Ansätze veröffentlicht worden. Im Vergleich zu klas- 
sischen Ansätzen sind diese Methoden aus aktueller Sicht jedoch zu ungenau 
und nicht robust genug für eine Anwendung im Bereich des automatischen 
Fahrens. Stenborg et al. [53] haben eine metrische Lokalisierung präsentiert, 
die mittels pixelweiser semantischer Information Landmarkenkorresponden- 
zen zu einer bestehenden Karte bestimmt. Die semantische Information wird 
in der Arbeit durch ein CNN bestimmt, wobei eine mittlere Ungenauigkeit von 
< Im erreicht wird. Kendall et al. [54]-[56] haben mit PoseNet ein Ende-zu- 
Ende Lokalisierungs-CNN vorgestellt. Hierzu wurde ein Regressions-CNN 
gelernt, das als Eingabe ein Bild erhält und als Ausgabe eine kartenrelative 
Pose schätzt. Das neuronale Netz stellt somit gleichzeitig die Karte als auch 
den metrischen Schätzer dar. Die Lokalisierungsungenauigkeit dieses Ansat- 
zes ist jedoch im Mittel mehrere Meter. 


Orthogonal zu den genannten Arbeiten existieren nur wenige Ansätze zur 
Lokalisierung mit Multi-Kamera-Systemen. Diese Arbeit stellt dafür grundle- 
gende Konzepte bereit, die sich auch auf andere Merkmalstypen und Lokali- 
sierungsvarianten übertragen lassen. 


3 Grundlagen 


3.1 Sensorkonfiguration 


Grundlage der in der Arbeit vorgestellten Konzepte ist ein Versuchsfahrzeug, 
an dem n Kameras befestigt sind. Die n Kameras zeichnen die Bilder /ı,... A 
zeitlich synchron zu einem Zeitpunkt auf, wobei jedes Bild J zu einer der Ka- 
meras korrespondiert. Die Aufnahmefrequenz der Bilder ist beliebig. Für die 
Merkmalsassoziation zwischen Bildern von aufeinanderfolgenden Aufnahme- 
zeitpunkten ist es vorteilhaft, die Aufnahmefrequenz an die Bewegungsge- 
schwindigkeit des Fahrzeugs anzupassen, um so einen konstanten Positions- 
unterschied zwischen zwei aufeinanderfolgenden Bildaufnahmen zu gewähr- 
leisten. Jedoch sind auch variierende Positionsdifferenzen zwischen aufeinan- 
derfolgenden Bildern für die vorgestellte Methodik unproblematisch, sofern 
die zurückgelegte Distanz des Fahrzeugs zwischen zwei Aufnahmezeitpunk- 
ten nicht zu groß ist. Für eine zuverlässige konsekutive Merkmalsassoziation 
ist die maximale Distanz u. a. abhängig von der Szene, dem Szenenfluss im 
Kamerabild, den Eigenschaften der Kameraprojektion, dem verwendeten De- 
skriptor und der Merkmalsassoziationsmethodik. Bei den Experimenten zu 
dieser Arbeit wurden Bilder mit konstanter Aufnahmefrequenz von 10 Hz bei 
Geschwindigkeiten bis maximal 70 km/h aufgezeichnet. Daher treten Distan- 
zen von bis zu ~ 2 m zwischen aufeinanderfolgenden Bildaufzeichnungen auf. 
Durch sporadische Bildausfälle wird dieser Wert in einigen Fällen überschrit- 
ten. 


Die in der Arbeit entwickelten Methoden zur Kartengenerierung und Lokali- 
sierung wurden mit unterschiedlichen Versuchsträgern und Kamerakonfigura- 
tionen evaluiert und angewendet. Abbildung 3.1 zeigt zwei verschiedene Ka- 
meraaufbauten, mit denen die Methodik erfolgreich angewendet wurde. Die 
folgende Auflistung beschreibt die beiden dargestellten Systeme: 


e MKS-A 
Abbildung 3.1 zeigt den Aufbau von MKS-A, der fünf teilweise un- 
terschiedliche Kameras umfasst. Zwei Kameras mit einem Öffnungs- 
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3 Grundlagen 


MKS-A MKS-B 


Abbildung 3.1: Verschiedene Kameraaufbauten, die fiir die Experimente in dieser Arbeit ver- 
wendet wurden. In Blau dargestellt sind die Sichtkegel der einzelnen Kameras. Die roten Linien 
zeigen relevante Uberlappungsbereiche der einzelnen Sichtkegel. 


winkel von ~ 110° sind hinter der Windschutzscheibe angebracht. Eine 
weitere Kamera mit einem Offnungswinkel von ~ 110° ist hinter der 
Heckscheibe montiert. Außerdem sind zwei Kameras mit einem Off- 
nungswinkel von ~ 170° seitlich über den vorderen Radkästen ange- 
bracht. 


e MKS-B 
In Abbildung 3.1 ist der Kameraaufbau von MKS-B dargestellt. Jede 
der vier Kameras hat einen Offnungswinkel von ~ 190°. Die vordere 
Kamera ist ungefähr auf der Höhe des Kühlergrills und die hintere Ka- 
mera auf Höhe der Anhängerkupplung montiert. Zwei weitere Kameras 
sind wie bei MKS-A seitlich über den vorderen Radkästen angebracht. 


Die verwendeten Kamerasysteme sind seriennah und ähnliche Konfiguratio- 
nen werden in anderen aktuellen Arbeiten [12], [57] bezüglich der Kartenge- 
nerierung und Lokalisierung untersucht. Die rot skizzierten Bereiche in Abbil- 
dung 3.1 zeigen relevante Überlappungsbereiche der Sichtkegel verschiedener 
Kameras. Diese Überlappungsbereiche sind für eine skalentreue Schätzung 
der gefahrenen Trajektorien wichtig, da Merkmale zwischen Bildern aus un- 
terschiedlichen Kameras zum gleichen Zeitpunkt assoziiert werden können. 
Aufgrund der bekannten Kalibrierung wird dadurch die Skale der Fahrzeug- 
bewegung beobachtbar. Ist dies nicht gegeben, müssen zusätzliche Sensoren 
oder Annahmen über die Einbaupositionen der Kameras für eine skalentreue 
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Trajektorienschätzung vorausgesetzt werden. Bis auf die Skalenschätzung ist 
die in dieser Arbeit entwickelte Methode unabhängig von der Anbringungspo- 
sition und der Anzahl der Kameras. Prinzipiell ist auch die Verwendung von 
nur einer einzelnen Kamera möglich. 


Die in den folgenden Kapiteln dargestellten Experimente sind mit den beiden 
beschriebenen Konfigurationen MKS-A und MKS-B durchgeführt worden. In 
der Beschreibung der Experimente wird daher auf dieses Kapitel und das ver- 
wendete MKS verwiesen. 


3.2 Isometrische Transformationen 


Zur Beschreibung der Methoden und Konzepte in dieser Arbeit sind isome- 
trische Transformationen im dreidimensionalen Raum von fundamentaler Be- 
deutung. In diesem Kapitel wird die Notation und Interpretation der verwen- 
deten Transformationsbegriffe definiert und beschrieben. 


Eine Transformation 
Tp.s € SE(3) (3.1) 


beschreibt im Rahmen der Arbeit stets eine isometrische Abbildung von Ko- 
ordinatensystem S nach Koordinatensystem D, wobei SE(3) die euklidische 
Gruppe bezeichnet, welche die Bewegung von Starrkörpern im dreidimen- 
sionalen Raum beschreibt [58]. Eine isometrische Transformation setzt sich 
daher ausschließlich aus einer Rotationkomponente Rr,, € SO(3) und ei- 
ner Translationskomponente ty, , € R? zusammen. Die spezielle euklidische 
Gruppe SO(3) stellt hierbei die Gruppe aller Rotationen im dreidimensiona- 
len Raum dar. Die inverse Transformation Tos = Tsp € SE (3) beschreibt die 
Umkehrabbildung von D nach S und es gilt 


LE Tops Tae, = (3.2) 


wobei I € SE(3) die Identitätstransformation beschreibt. Sei des Weiteren 
Ts.¢ € SE(3) eine Transformation von E nach S, so ist 


Toe = Tps: Ter (3.3) 


auch eine isometrische Transformation, die sich aus der Komposition von Tp 5 
und Ts g ergibt und die Transformation von Koordinatensystem E nach D be- 
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schreibt. Sei außerdem ps € R* ein Raumpunkt bezüglich Koordinatensystem 
S, so ergibt sich durch 
Po =Tps-ps € R° (3.4) 


die Darstellung dieses Raumpunktes beziiglich Koordinatensystem D. Im Fol- 
genden wird ein Raumpunkt als Landmarke bezeichnet. 


Nomenklatur 


In den folgenden Kapiteln werden unterschiedliche Begriffe verwendet, die ei- 
ne isometrische Transformation zwischen unterschiedlichen Koordinatensys- 
temen darstellen. Abbildung 3.2 zeigt die Transformationen und Koordinaten- 
systeme, die fiir die Betrachtungen in dieser Arbeit relevant sind. Die folgende 
Auflistung beschreibt diese im Detail: 


Dan 
Kn Odd) 


Abbildung 3.2: Darstellung der verwendeten Koordinatensysteme, der Fahrzeugposen und der 
extrinschen Kameratransformationen. 


e Fahrzeugpose P 
Eine Fahrzeugpose P = Tc,r beschreibt die Transformation vom Refe- 
renzkoordinatensystem R des Versuchsträgers in ein globales Koordina- 
tensystem G, wobei sich G aus dem Kontext der Betrachtungen ergibt. 
Eine Fahrzeugpose korrespondiert stets zu einer Menge © = If... , Jin} 
von m synchron zu einem Zeitpunkt aufgezeichneten Kamerabildern. 


e Kamerapose C 
Eine Kamerapose C = Tg. stellt stets die Transformation von einem 
Kamera-Koordinatensystem K in ein globales Koordinatensystem G 
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dar. Da die Kameras rigide am Versuchsträger angegracht sind, kann ei- 
ne Kamerapose C stets als Komposition P- K = Tg.r-Trx einer Fahr- 
zeugpose P und der extrinschen Transformation K dargestellt werden. 
Die Transformation K beschreibt hierbei die isometrische Abbildung 
vom Kamerakoordinatensystem K in das Referenzkoordinatensystem 
R des Versuchsträgers. Eine Kamerapose korrespondiert in der Arbeit 
immer zu einem aufgezeichneten Bild Z. 


Posendifferenz D; 4 

Eine Posendifferenz D; ; = PS P: beschreibt die isometrische Trans- 
formation von Fahrzeugpose P ; nach Fahrzeugpose P;. In einigen Kapi- 
teln werden Posendifferenzen Dyn, n j zwischen Kameraposen betrachtet, 
für die die gleiche Nomenklatur verwendet wird. Dies ist jedoch aus 
dem Kontext der Betrachtungen ersichtlich und nachvollziehbar. 


Posenmenge P 

Eine Posenmenge P = {Pı,...,P,} beschreibt eine Menge von Fahr- 
zeugposen. In den folgenden Kapiteln ergibt sich der Umfang einer be- 
trachteten Posenmenge aus dem Kontext der Betrachtungen. 


Trajektorie T 

Eine Trajektorie T = {Pı,...,P„} bezeichnet im Kontext der Arbeit ei- 
ne zeitdiskrete Abtastung von Posen P4,...,P„ der gefahrenen Raum- 
kurve des Fahrzeugs. Eine Trajektorie T ist also eine geordnete Po- 
senmenge von konsekutiven Fahrzeugposen. Die Abtastzeitpunkte kor- 
respondierenden dabei zu den Aufnahmezeitpunkten der synchron auf- 
gezeichneten Bildmengen ¥,...,2, aus einer einzelnen Aufnahmese- 
quenz S. Da eine hinreichend hohe Aufnahmefrequenz und eine ma- 
ximale Bewegungsgeschwindigkeit des Fahrzeugs angenommen wird, 
kann zwischen aufeinanderfolgenden Posen einer Trajektorie T eine 
glatte Bewegung angenommen werden. Die Posen einer Trajektorie las- 
sen sich daher durch Bewegungsmodelle erklären und validieren. 
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3.3 Kalibrierung 


Im Rahmen der Arbeit wird eine gemeinsame geometrische und projektive 
Kalibrierung aller Kameras vorausgesetzt [59]. Durch die Kalibrierung ist für 
jede montierte Kamera K; eine Projektionsfunktion 


x) =z (3.5) 


gegeben, die eine Landmarke 1 € R? im Kamerakoordinatensystem K; auf ei- 
nen Bildpunkt z € R? in der Sensorebene abbildet. Bei der Projektion einer 
Landmarke ins Kamerabild geht die Information des Abstandes der Landmar- 
ke zum Kameraursprung verloren. Daher ist Gleichung (3.5) nicht eindeutig 
invertierbar. Stattdessen stellt die Kalibrierung eine Abbildungsfunktion 


k(z) =r (3.6) 


bereit, die einen Bildpunkt z auf einen Richtungsvektor r € Ri |r| = 1 im 
Kamerakoordinatensystem abbildet. Der Richtungsvektor r wird im Folgen- 
den als Sichtstrahl von z bezeichnet. Des Weiteren stellt die Kalibrierung eine 
Transformation K; = Tr x, € SE (3) vom Koordinatensystem der i-ten Kamera 
in ein fahrzeugfestes Referenzkoordinatensystem R bereit. Wie in Abbildung 
3.2 dargestellt, liegt der Ursprung des Referenzkoordinatensystem R tiblicher- 
weise im Mittelpunkt der Fahrzeughinterachse. 


22 


4 Merkmalsassoziation 


Die Detektion, Beschreibung und Assoziation (engl. feature matching) von 
Bildmerkmalen ist die Grundlage der Kartengenerierung und der Lokali- 
sierung. Merkmale werden an markanten Bildpunkten z € R? detektiert und 
mittels eines Deskriptors v € R” beschrieben. Uber einen Vergleich der De- 
skriptoren werden Merkmale aus verschiedenen Bildern zueinander assoziiert, 
wobei die Merkmale im Falle einer korrekten Zuordnung dieselbe Landmarke 
in der Szene abbilden. Im Rahmen dieser Arbeit ist ein Merkmal 


m= {z,v} (4.1) 


durch ein Tupel aus einem Bildpunkt z und einem Deskriptor v definiert. Zur 
Merkmalsdetektion wird jedes Bild mit einer Blob- und einer Eckendetekti- 
onsmaske diskret gefaltet [13]. Die extremalen Antworten dieser Faltung er- 
geben die markanten Bildpunkte. Als Deskriptor wird der DIRD-Deskriptor 
[14] verwendet, der sich im Gegensatz zu prominenten Alternativen wie dem 
ORB- [60], SIFT- [61], BRIEF- [62] oder BRISK- [63] Deskriptor durch seine 
Robustheit gegenüber Beleuchtungsveränderungen auszeichnet. Der DIRD- 
Deskriptor ermöglicht eine robuste Assoziation von Merkmalen aus Bildern, 
welche die gleiche Szene bei unterschiedlichen Lichtverhältnissen aus einer 
ähnlichen Perspektive darstellen. Er ist daher besonders zur Merkmalsasso- 
ziation zwischen Bildern aus verschiedenen Aufnahmesequenzen zu verschie- 
denen Tages- und Jahreszeiten geeignet. 


Das Ziel der Merkmalsassoziation ist die korrekte Zuordnung eines Kandida- 
tenmerkmals m, aus einem Kandidatenbild /. zu einem Merkmal m, aus einem 
Vergleichsbild /,, das die gleiche Landmarke abbildet wie m.. Der erste Schritt 
der Merkmalsassoziation ist die Bestimmung von Bildpaaren, zwischen denen 
Merkmale überhaupt assoziiert werden können. Ein weiterer fundamentaler 
Schritt ist die Suchraumeinschränkung im Vergleichsbild, um eine möglichst 
hohe Assoziationsrobustheit zu erzielen. Insbesondere zu diesen beiden As- 
pekten wurden im Rahmen der Arbeit Beiträge geleistet und Untersuchungen 
durchgeführt, die in Abschnitt 4.1 beschrieben sind. Die letztendliche Aus- 
wahl der richtigen Korrespondenz erfolgt über einen Vergleich des Deskriptors 
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v. des Kandidatenmerkmals m. mit den Deskriptoren der Vergleichsmerkma- 
le innerhalb des zuvor bestimmten Suchraums im Vergleichsbild 7,. Dieser 
Schritt ist in Abschnitt 4.2 im Detail beschrieben. Die paarweisen Merkmals- 
korrespondenzen werden zusätzlich auf Basis einer eindeutigen Identifikation 
einzelner Merkmale weiter verknüpft, wodurch ein höherer Verknüpfungsgrad 
erzielt wird. Dieser Prozess wird im Folgenden als globale Assoziation be- 
zeichnet und ist in Abschnitt 4.3 beschrieben. 


4.1 Suchraumeinschränkung 


In diesem Abschnitt werden die Strategien zur Suchraumeinschränkung für 
eine möglichst robuste und effiziente Merkmalsassoziation beschrieben. Die 
Suchraumeinschränkung umfasst zwei Schritte: 


1. Bestimmung von geeigneten Bildpaaren 
Der erste Schritt ist die Zuordnung zweier Bilder, welche die glei- 
che Szene aus einer ähnlichen Perspektive abbilden, sodass überhaupt 
Merkmale detektiert werden können, die die gleiche Landmarke abbil- 
den. Der maximale Unterschied der Aufnahmeposen hängt dabei vom 
verwendeten Detektor und Deskriptor ab. Dieser Prozessschritt schränkt 
somit die Menge der Vergleichsbilder für das Kandidatenbild L ein. 


2. Einschränkung des Suchbereichs in der Bildebene 

Der zweite Schritt ist die Einschränkung des Suchbereichs im Ver- 
gleichsbild 7,. Die Suchraumeinschränkung zielt hierbei stets darauf 
ab, dem Kandidatenmerkmal m. eine möglichst kleine Menge O.mp = 
Imı,...,my} von Vergleichsmerkmalen aus dem Vergleichsbild J, zu- 
zuordnen. Je mehr der Suchraum eingeschränkt werden kann, desto 
geringer sind die Anforderungen an die Robustheit und Invarianzen des 
verwendeten Deskriptors. 


Der DIRD-Deskriptor ist zwar robust gegen Beleuchtungsveränderun- 
gen, jedoch empfindlich gegenüber unterschiedlichen Projektionsver- 
halten der Kameras und Veränderungen in der Perspektive. Insbeson- 
dere wenn das MKS unterschiedliche Kameratypen umfasst oder wenn 
der Abstand zwischen den Aufnahmeposen größer wird, beispielsweise 
wenn die gleiche Strecke mehrmals auf unterschiedlichen Fahrspuren 
befahren wird, sinkt die Anzahl richtiger Merkmalskorrespondenzen si- 
gnifikant. Um auch in solchen Fällen eine möglichst hohe Assoziations- 
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güte zu erzielen, wurden im Rahmen der Arbeit Methoden entwickelt, 
die das zur Verfügung stehende Wissen über die räumliche Anordnung 
und das Projektionsverhalten der Kameras nutzen, um den Suchraum 
bestmöglich einzuschränken. 


Die drei folgenden Unterabschnitte 4.1.2, 4.1.1 und 4.1.3 beschreiben die 
angewendeten Suchraumeinschränkungen für die drei in der Kartengenerie- 
rung und Lokalisierung auftretenden Anwendungsfälle. Für die Merkmals- 
assoziation von Merkmalen aus verschiedenen Aufnahmesequenzen im Rah- 
men der Kartengenerierung ist insbesondere die geometrische Surchraumein- 
schränkung, die in Abschnitt 4.1.3 beschrieben ist, von hoher Bedeutung. 


4.1.1 Bildsequenzen 


Die Assoziation von Merkmalen zwischen konsekutiven Bildern aus Bildse- 
quenzen ist für den ersten Schritt der Kartengenerierung, der initialen Trajek- 
torienschätzung, relevant. In diesem Anwendungsfall ist kein Wissen über die 
umgebende Struktur bekannt. Das Wissen über die Posendifferenz der Kamer- 
aposen zu konsekutiven Kamerabildern basiert auf der Annahme, dass die Ka- 
mera zwischen den Aufnahmezeitpunkten, wie in Abschnitt 3.1 beschrieben, 
maximal wenige Meter weiterbewegt wurde. Die Auswahl der Vergleichsbil- 
der ergibt sich in diesem Fall direkt aus der Aufnahmefolge der Bilder. 


Für ein Kandidatenmerkmal ergibt sich in diesem Fall die Suchraumein- 
schränkung durch eine kreisförmige Suchregion, deren Mittelpunkt sich am 
Endpunkt eines prädizierten Flussvektors befindet [13]. Die prädizierten Fluss- 
vektoren ergeben sich dabei aus dem geschätzten optischen Fluss der vorher- 
gegangenen Assoziationsschritte. Abbildung 4.1 zeigt den optischen Fluss ei- 
ner vorwärts aus dem Fahrzeug gerichteten Kamera. Die in Grün dargestellten 
Merkmalsspuren (engl. feature tracks) visualisieren den optischen Szenen- 
fluss. 


4.1.2 Merkmal-Landmarke Assoziation 


Der zweite Fall ist die Assoziation von Merkmalen zur einer existierenden 
Landmarke I. Dieser Fall tritt typischerweise bei der Merkmalsassoziation im 
Rahmen der metrischen Lokalisierung auf, bei der aus einer bestehenden Lo- 
kalisierungskarte Landmarken bereit gestellt werden. Zusätzlich ist eine un- 
gefähre Schätzung der kartenrelativen Pose des Fahrzeugs bekannt. Die Land- 
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Abbildung 4.1: Darstellung des optischen Flusses einer in Fahrtrichtung ausgerichteten Kamera 
in einem typischen Stadtszenario. 


marke I korrespondiert dabei zu einer Menge ©) von Merkmalen, aus denen 
die Landmarke vorab trianguliert wurde. Die Vergleichsbilderauswahl ergibt 
sich hierbei durch die folgenden Bedingungen: 


e Die Aufnahmepose C, eines Kandidatenbildes /. ist in der Nähe von 
einer der zu ©, korrespondierenden Aufnahmeposen. 


e Die Projektion z = (C711) der Landmarke | in das Kamerabild J, 
erfüllt die Chiralitätsbedingung [64] — die Landmarke liegt also vor der 
Bildebene. Außerdem muss die Projektion z innerhalb der Bildfläche 
von /. liegen. 


Sind diese beiden Kriterien erfüllt, existiert aus geometrischer Sicht eine hohe 
Wahrscheinlichkeit, dass ein Merkmal aus L zur Landmarke | assoziiert wer- 
den kann, wobei eine Verdeckung der Landmarke mit diesen Kriterien nicht 
ausgeschlossen werden kann. 


Die Suchraumeinschränkung im Kandidatenbild /. ergibt sich durch eine 
kreisförmige Suchregion um die Projektion a herum. Je unsicherer das Wis- 
sen über l und Ce hierbei ist, desto größer wird der Suchradius gewählt. Als 
Vergleichsmerkmal m, € ©; wird das ausgewählt, dessen korrespondierende 
Kamerapose den kleinsten euklidischen Abstand zu C. hat. 
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4.1.3 Geometrische Assoziation ohne Strukturwissen 


Dieser Fall beschreibt die Merkmalsassoziation zwischen zwei Bildern zu be- 
liebigen Zeitpunkten aus unterschiedlichen Kameras der gleichen bzw. ver- 
schiedener Aufnahmesequenzen. Hierbei ist angenommen, dass Kamerapo- 
senschätzungen zu den Kamerabildern gegeben sind, jedoch kein Wissen über 
die umgebende Struktur vorhanden ist. Dieser Fall deckt eine Vielzahl von 
möglichen Anwendungen ab und ist in dieser Arbeit insbesondere wichtig für 
die Assoziation von Merkmalen zwischen Bildern aus verschiedenen Aufnah- 
mesequenzen im Rahmen der Kartengenerierung. 


Zuordnung von Vergleichsbildern 


Für die Zuordnung von Vergleichsbildern zu einem Kandidatenbild /. wer- 
den im ersten Schritt Bilder bestimmt, die in der Nähe des Kandidatenbildes 
aufgezeichnet wurden. Dazu wird zunächst eine Radiussuche [65] in einem k- 
d-Baum, der alle Kamerapositionen umfasst, durchgeführt. Ein k-d-Baum ist 
ein k-dimensionaler unbalancierter Suchbaum zur Speicherung von Punkten 
aus dem R*. Er ermöglicht effiziente Gebietsanfragen wie beispielsweise ei- 
ne Radius- oder Nächste-Nachbarn-Suche. Wie in Abbildung 4.2 dargestellt, 
ermöglicht die Radiussuche im k-d-Baum (k = 2) eine effiziente Bestimmung 
der Bilder Year = IP... hl. die innerhalb eines Umkreises mit Radius r 
um die zu /. korrespondierende Kamerapose Ce aufgezeichnet wurden. Die 
Suche erstreckt sich dabei über die zweidimensionale Befahrungsebene, die 
näherungsweise durch die Fahrzeugposen aufgespannt wird. 


Darauffolgend wird für jedes Bild J, € hear der Blickwinkelunterschied 
Qe k = <(C.,C;) (4.2) 


bestimmt, wobei C, die zu J, korrespondierende Kamerapose ist. Ist Œe g klei- 
ner als ein Grenzwert, wird das Bild zur Menge Lan der Vergleichsbilder hin- 
zugefügt, zwischen denen nachfolgend Merkmale assoziiert werden. Durch 
diesen Schwellwertvergleich wird sichergestellt, dass sich die zu den Bildern 
korrespondierenden Sichtkegel hinreichend überlappen. Dies ist in Abbildung 
4.2 illustiert. 


Suchraumeinschränkung durch Epipolargeometrie 


Nach der Bestimmung der Vergleichsbilder Lan werden Merkmalsassoziatio- 
nen zwischen dem Kandidatenbild /. und den Bildern Lan bestimmt. Da zu 
jedem Bild Wissen über die korrespondierende Kamerapose gegeben ist, kann 
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Abbildung 4.2: Bestimmung der Vergleichsbilder Lan bei der geometrischen Assoziation ohne 
Strukturwissen. Die Bilder ear zu den in Grün und Rot dargestellten Kameras werden durch die 
Radiussuche bestimmt. Die Bilder der in Rot dargestellten Kameras werden zurückgewiesen, da 
diese keine ausreichende Sichtkegelüberlappung mit dem Sichtkegel (Blau) des Kandidatenbildes 
haben. 


die Kameraposendifferenz Dey = CC, zwischen der zum Kandidatenbild 
I. korrespondierenden Kamerapose C, und der zum Vergleichsbild /, € Kmp 
korrespondierenden Kamerapose C, bestimmt werden. Auf Basis der Kamera- 
posendifferenz D.. kann der Suchraum im Vergleichsbild /, unter Ausnutzung 
der Epipolargeometrie [64] beschränkt werden. 


Die Suchraumeinschränkung durch Epipolargeometrie bestimmt einen Such- 
schlauch um die Projektion des Sichtstrahls des Kandidatenmerkmals m. ins 
Vergleichsbild 7, herum. Im Folgenden wird die Projektion des Sichtstrahls 
als Epipolarkurve bezeichnet. Da eine allgemeine Projektionsfunktion (3.5) 
und eine beliebige Kameraposendifferenz De , angenommen wird, ist die Epi- 
polarkurve i. A. gekrümmt. Abbildung 4.3 demonstriert dies beispielhaft an 
Epipolarkurven von Merkmalen zwischen zwei orthogonal zueinander ausge- 
richteten Weitwinkelkameras. 


28 


4.1 Suchraumeinschränkung 


Abbildung 4.3: Oben: Epipolarlinien zwischen zwei orthogonal zueinander ausgerichteten Weit- 
winkelkameras. Unten: Flussvektoren von Korrespondenzen, fiir die eine Merkmalsassoziation 
zwischen den beiden Kameras erfolgreich bestimmt werden konnte. 


Als Projektionsfunktion (3.5) wurde in diesem Fall eine sphärische Abbil- 
dungsfunktion [59] verwendet. 


Die Umsetzung dieser Suchraumeinschränkung ergibt sich durch geometri- 
sche Betrachtungen im dreidimensionalen Raum. Zunächst wird einmalig ein 
Referenznormalenvektor no einer Referenzepipolarebene bestimmt. Der Nor- 
malenvektor ng = rg X repi ergibt sich aus dem Kreuzprodukt eines beliebigen 
Sichtstrahls ro und dem Verbindungsvektor rep; der Epipole. Darauf basierend 
wird jedem detektierten Merkmal m aus /. und 7, der Winkel 


T 
DÄ Hu 


mol Une) 


) (4.3) 


On = < (Ng, nm) = arccos( 


zwischen dem Referenznormalenvektor no und dem Normalenvektor n, zu- 
geordnet. Der Normalenvektor n,, ergibt sich dabei aus dem Kreuzprodukt 
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4 Merkmalsassoziation 


Abbildung 4.4: Geometrische Verhältnisse bei der Suchraumeinschränkung durch Epipolargeo- 
metrie. 


des Verbindungsvektors repi und des Sichtstrahls rm des Merkmals m. Durch 
dieses Vorgehen ergibt sich für das Kandidatenmerkmal m. der Winkel Qn, 
und für ein Vergleichsmerkmal m, der Winkel &,,,. Basierend auf diesen Win- 
keln kann durch einen skalaren Schwellwertvergleich (Om, — Om, | < Omax der 
Differenz der Winkel geprüft werden, ob beide Epipolarebenen eine ähnliche 
Orientierung im Raum haben. Das ist gleichbedeutend dazu, dass m, innerhalb 
des Suchschlauchs um die Epipolarkurve des Merkmals Œm, im Vergleichs- 
bild 7, liegt. Abbildung 4.4 stellt dieses Vorgehen schematisch dar. Die graue 
Ebene stellt die Referenzebene dar, die zum Referenznormalenvektor no kor- 
respondiert. Die in Rot dargestellte Ebene korrespondiert zum Kandidaten- 
merkmal m. und die in Blau dargestellte Ebene zu einem Vergleichsmerkmal 
m, aus /,. Die Vergleichsmerkmale sind als farblich hervorgehobene Kreise im 
Vergleichsbild 7, dargestellt. Alle Merkmale innerhalb des in Rot gestrichelt 
dargestellten Suchschlauchs um die in Rot dargestellte Epipolarkurve in A 
werden durch die epipolargeometrische Suchraumeinschränkung ausgewählt. 
Das in Gelb dargestellte Merkmal entspricht der korrekten Korrespondenz zu 
mec. Die Breite des Suchschlauchs ist proportional zum Schwellwert Omax- Je 
ungenauer die Schätzung von Dex ist, desto größer wird Omax gewählt. 


Der Vorteil der Verwendung eines Referenznormalenvektors no im Vergleich 
zu einem direkten Vergleich der Normalenvektoren nm, und nm, der beiden zu 
vergleichenden Merkmale m. und m, ist, dass die Winkelberechnung in Glei- 
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Abbildung 4.5: Exemplarische Auswahl von Bildpaarkombinationen, zwischen denen erfolg- 
reich Merkmale mit der epipolargeometrischen Suchraumeinschränkung bestimmt wurden. Die 
Bilder entspringen dabei jeweils aus unterschiedlichen Aufnahmesequenzen. 


chung (4.3) nur ein einziges Mal pro Merkmal durchgeführt werden muss. Die 
paarweisen Vergleiche können darauffolgend durch eine einfache Differenz- 
bildung berechnet werden, wodurch Rechenzeit eingespart wird. 


Evaluation 


Die beschriebene Suchraumeinschränkung wurde im Rahmen der Arbeit in 
einem Monte-Carlo Experiment untersucht. Dazu wurden zufällig Kamera- 
bildpaare gewählt, deren Kameraposen ähnlich zueinander sind. Die abge- 
bildeten Szenen in diesen Experimenten umfassen innerstädtische Gebiete, 
Überlandstraßen und Walddurchfahrten aus insgesamt 10 verschiedenen Auf- 
nahmesequenzen. Das Experiment umfasst Aufnahmesequenzen, die sowohl 
mit MKS-A als auch mit MKS-B aufgezeichnet wurden (siehe Abschnitt 3.1). 
Zu allen Kamerabildern existieren Kameraposen, die mit der in Abschnitt 
6 beschriebenen Kartierungsmethode bestimmt wurden. Diese werden als 
Grundwahrheit bei der Evaluation verwendet. Für die Zuordnung von Ver- 
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Abbildung 4.6: Boxplots des Ausreißeranteils (Links) und der Anzahl erfolgreicher Korrespon- 
denzen (Rechts) für steigende Schwellwertwinkel Omax. 


gleichsbildern wurde eine maximale euklidische Distanz von 5 m und ein 
maximaler Blickwinkelunterschied von 90° verwendet. Abbildung 4.5 zeigt 
verschiedene Bildpaarungen, zwischen denen Korrespondenzen mit der epi- 
polargeometrischen Suchraumeinschränkung bestimmt wurden. Alle Bilder 
wurden mit einem sphärischen Projektionsmodell entzerrt. 


In dem Experiment wurden fiir jedes Kamerabildpaar Korrespondenzen be- 
stimmt, wobei die Assoziation pro Bildpaar mit verschiedenen Winkelschwell- 
werten Omax durchgeführt wurde. Die finale Korrespondenz wurde durch den 
Deskriptorvergleich gemäß Abschnitt 4.2 bestimmt. Zur Entscheidung, ob ei- 
ne so bestimmte paarweise Korrespondenz korrekt ist, wurde eine Landmarke 
auf Basis der Grundwahrheitskameraposen trianguliert und in die Ursprungs- 
bilder der beiden Merkmale projiziert. Eine Korrespondenz wird als korrekt 
klassifiziert, wenn der Rückprojektionsfehler in beiden Bildern < 2 Pixel ist. 
Der Rückprojektionsfehler ergibt sich hierbei durch den Betrag der Differenz 
der Pixelpositionen des detektierten Merkmals und der Position der Landmar- 
kenprojektion im Kamerabild. Eine falsch klassifizierte Korrespondenz wird 
im Folgenden als Ausreißer (engl. outlier) bezeichnet. Abbildung 4.6 zeigt 
die Ergebnisse dieser Untersuchung. In Abbildung 4.6 ist links der Boxplot 
des Ausreißeranteils und rechts der Boxplot der Anzahl korrekter Korrespon- 
denzen für verschiedene Winkelschwellwerte Omax dargestellt. Die Boxplots 
umfassen dabei die Ergebnisse aus allen paarweisen Merkmalsassoziationen 
zwischen zwei verschiedenen Bildern. Für sehr kleine O&max-Schwellwerte 
sinkt die Anzahl korrekter Korrespondenzen als auch der Anteil falscher Kor- 


32 


4.2 Deskriptor- Vergleich 


respondenzen. Für steigende Omax-Schwellwerte bleibt die Anzahl gefunde- 
ner Korrespondenzen nahezu konstant, jedoch steigt der Ausreißeranteil an. 
Für Gaas % 1° ist die Anzahl gefundener Korrespondenzen maximal, wo- 
bei der Ausreißeranteil kleiner ist als bei größeren Omax-Werten. Zusätzlich 
steigt die Rechenzeit deutlich an, da aufgrund des breiteren Suchschlauchs 
mehr Deskriptoren von Vergleichsmerkmalen mit Deskriptoren der Kandida- 
tenmerkmale verglichen werden. Da eine möglichst hohe Anzahl korrekter 
Korrespondenzen, ein möglichst geringer Ausreißeranteil und eine möglichst 
geringe Laufzeit von Vorteil ist, stellt max z 1° die optimale Wahl in diesem 
Experiment dar. 


Das Experiment zeigt, dass die epipolargeometrische Merkmalsassoziation 
unter Ausnutzung des geometrischen Vorwissens eine robuste und effiziente 
Merkmalsassoziation ermöglicht, da bei geeigneter Wahl des Parameters Omax 
die Anzahl gefundener Korrespondenzen maximal ist und gleichzeitig ein ge- 
ringerer Ausreißeranteil erzielt wird als bei größeren Omax-Werten. Ein Vorteil 
dieser Methode ist, dass sie unabhängig vom verwendeten Deskriptor und De- 
tektor ist — also in einem allgemeinen Sinne supplementär ist. 


4.2 Deskriptor-Vergleich 


Durch die Suchraumeinschränkung für ein Kandidatenmerkmal m. im Kan- 
didatenbild /., verbleibt eine Menge @cmp = {mı,...,m„} von n Vergleichs- 
merkmalen im Vergleichsbild 7,. Das finale Assoziationspaar wird mittels De- 
skriptorvergleich des Deskriptors ve mit den Deskriptoren der Merkmale aus 
Ocmp bestimmt. Dazu wird eine symmetrische Distanzfunktion 


dmm; = On (vi, vj) (4.4) 


verwendet, die ein Unterschiedlichkeitsmaß dmim; € R* auf Basis der beiden 
korrespondierenden Deskriptor-Vektoren v;,v; bestimmt. Auf Basis der Dis- 
tanzfunktion (4.4) kann dem Kandidatenmerkmal m. die Korrespondenz 


Ma = arg min dy, An (4.5) 
m;€Ocmp 


zugeordnet werden, die sich am wenigsten vom Deskriptor v. des Kandidaten- 
merkmals m. unterscheidet. Da im Rahmen der Arbeit die byte-quantisierte 
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Variante des DIRD-Deskriptors [14] verwendet wird, wird die L}-Norm der 
Deskriptordifferenz v; — v; als Distanzfunktion verwendet. 


Um die Robustheit der Merkmalsassoziation zu steigern, werden weitere Ver- 
gleiche durchgeführt, die in der folgenden Auflistung beschrieben sind: 


e Die Deskriptordistanz da a, des besten Assoziationspaars wird mit ei- 
nem Schwellwert 7, € R verglichen. Wenn dn, a, > Ta gilt, wird die 
Korrespondenz verworfen. 


Die Eindeutigkeit der besten Korrespondenz {m,,m,} wird mittels 


an el te (4.6) 


Me Mp 


bewertet, wobei din, m, die Distanz von m. zum zweitähnlichsten Merk- 
mal my € Ocmp ist. Wenn der Deskriptordistanzunterschied um, a, Klei- 
ner als ein Schwellwert T, € [0, 1] ist, wird die Korrespondenz verwor- 
fen. 


Es wird ein sogenannter Links-Rechts-Vergleich durchgeführt. Das be- 
deutet, dass für jede zugeordnete Assoziationen im Vergleichsbild eine 
Korrespondenzsuche im Kandidatenbild durchgeführt wird. Wird dabei 
ein anderes Merkmal als Kandidatenmerkmal m. assoziiert, wird die 
Korrespondenz verworfen. 


Nur wenn alle zuvor beschriebenen Überprüfungen erfolgreich sind, wird die 
Merkmalskorrespondenz akzeptiert. 


4.3 Globale Assoziation 


Zur Steigerung des Verknüpfungsgrads der Korrespondenzen werden die paar- 
weisen Merkmalskorrespondenzen, die durch die zuvor beschriebene bildba- 
sierte Merkmalsassoziation bestimmt wurden, weiter verknüpft. Dazu ist je- 
des Merkmal eindeutig durch seine diskrete Position im Kamerabild und ei- 
nen eindeutigen Bildindex identifizierbar. Sind beispielsweise {m;,m j} und 
Jm: mr zwei verschiedene Merkmalskorrespondenzen, die beide das Merk- 
mal m; umfassen, so werden diese beiden Korrespondenzen zu {mj,m me) 
durch die globale Assoziation zu einer gemeinsamen Korrespondenz zusam- 
mengefasst. 
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SE SE | see i 


Abbildung 4.7: Exemplarische Darstellung einer einzelnen globalen Merkmalskorrespondenz. 
Die Korrespondenz erstreckt sich dabei über mehrere Zeitschritte (Horizontal) und verschiedene 
Kameras aus unterschiedlichen Aufnahmesequenzen (Vertikal). 


Die globale Assoziation lässt sich als Graphenproblem formulieren. Jedes 
Merkmal stellt dabei einen Knoten und jede Korrespondenz zwischen zwei 
Merkmalen eine ungerichtete Kante dar. Jede verknüpfte Komponente (engl. 
connected component) dieses Graphen entspricht somit einer globalen Korre- 
spondenz. Abbildung 4.7 zeigt exemplarisch Ausschnitte aus unterschiedlich- 
en Bildern. Die in Rot hervorgehoben Bildpunkte zeigen die Merkmalspunkte 
einer einzelnen Korrespondenz, die durch die globale Assoziation von paar- 
weisen Merkmalskorrespondenzen zusammengesetzt wurde. 
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In diesem Kapitel werden die eingesetzten Methoden zur robusten Bestim- 
mung der Kartenparameter und zur robusten Lokalisierungposenschätzung 
beschrieben. Die Kartenparameter umfassen Fahrzeugposen und Landmar- 
ken. Die Parameterschätzung entspricht in beiden Fällen dem Lösen eines 
überbestimmten nichtlinearen Gleichungssystems. Zur Lösung solcher Aus- 
gleichsprobleme werden in dieser Arbeit gradientenabstiegsbasierte Optimie- 
rungsverfahren eingesetzt. Die zu schätzenden Modellparameter werden dabei 
durch Minimierung einer Fehlerfunktion bestimmt, wodurch die Messungen 
bestmöglich beschrieben werden. Abschnitt 5.1 befasst sich mit den aufge- 
stellten Ausgleichsproblemen und Lösungsmethoden im Rahmen dieser Ar- 
beit. 


Wesentlich für eine robuste Parameterschätzung durch numerische Optimie- 
rung sind die folgenden zwei Aspekte: 


e Ausreißerbehandlung 

In der Praxis treten häufig fehlerbehaftete Messungen und falsche Kor- 
respondenzen auf. Bereits wenige Ausreißer haben einen signifikanten 
Effekt auf die Optimierung und führen i. A. zu einer falschen Para- 
meterschätzung. Daher müssen Ausreißer vor der Optimierung eines 
Ausgleichsproblems identifiziert und entfernt oder ihr Einfluss auf die 
Fehlerfunktion minimiert werden. Dafür werden in dieser Arbeit un- 
terschiedliche Methoden eingesetzt, die in Abschnitt 5.1.4 beschrieben 
werden. 


Initialisierung 

Die betrachteten Ausgleichsprobleme sind nichtlinear, wodurch eine i. 
A. nicht konvexe Kostenfunktion minimiert wird. Da numerische Gradi- 
entenabstiegsverfahren zur Lösung verwendet werden, besteht die Ge- 
fahr, in einem lokalen Minimum zu konvergieren. Eine geeignete In- 
itialisierung der zu optimierenden Parameter in der Nähe des korrekten 
Minimums ist daher von fundamentaler Bedeutung. Die verwendeten 
Initialisierungsmethoden werden in Abschnitt 5.2 beschrieben. 


37 


5 Robuste Parameterschätzung 


Ein weiteres Problem sind Gebiete mit nur wenigen markanten Strukturen, 
Szenarien, in denen überwiegend dynamische Objekte beobachtet werden, 
oder schlechte Sichtbedingungen. In solchen Fällen können oft nur wenige 
richtige Merkmalskorrespondenzen bestimmt werden. Das kann dazu führen, 
dass Parameter nicht vollständig beobachtbar sind oder dass der Ausreißeran- 
teil sehr groß ist, sodass die Kartenparameter in diesen Gebieten falsch ge- 
schätzt werden. Daher werden die geschätzten Parameter an verschiedenen 
Stellen im Kartierungsprozess durch Modellannahmen validiert und gegebe- 
nenfalls korrigiert. Diese Validierung steigert die Robustheit der Kartenge- 
nerierung, da falsch geschätzte Parameter frühzeitig identifiziert werden. Die 
Modellannahmen können zusätzlich als Kostenterme in die Ausgleichspro- 
bleme integriert werden, wodurch eine Abweichung der Parameter von den 
Modellen bestraft wird. Die verwendeten Modelle und Validierungsmethoden 
werden in Abschnitt 5.3 ausführlich beschrieben. 


5.1 Nichtlineare Ausgleichsrechnung 


Die Schätzung der Kartenposen und -landmarken als auch die Schätzung der 
Lokalisierungspose wird durch die Minimierung einer Summe von quadra- 
tischen Fehlertermen erzielt. Dieses Vorgehen ist in der Literatur bekannt 
als die Methode der kleinsten Fehlerquadrate (engl. least-squares; LS). Sei 
x € R” der zu optimierende n-dimensionale Parametervektor und r(x) = 
(eu (el, rell eine m-dimensionale Residuenfunktion, dann ist 


š sch 
& = argmin, |[r(x) [lo (5.1) 


die Parameterschätzung, die das durch r(-) beschriebene Beobachtungsmo- 
dell bestmöglich approximert. Durch die Gewichtungsmatrix Q werden die 
einzelnen Residuen gewichtet. Die Quadrierung der Residuenfunktion r(-) ist 
durch den Satz von Gauß-Markov motiviert. Für den Fall einer linearen Resi- 
duenfunktion besagt der Satz, dass ein Schätzer, der den quadratischen Fehler 
minimiert, der beste lineare erwartungstreue Schätzer (engl. best linear unbia- 
sed estimator; BLUE) im Sinne der kleinsten Varianz ist [31]. 


Da die Fehlerterme im Rahmen der Arbeit nichtlinear sind, ergibt sich ein 
nichtlineares Ausgleichsproblem (engl. nonlinear least-squares; NLS). In die- 
sem Fall kann Problem (5.1) i. A. nicht geschlossen gelöst werden. Stattdessen 
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werden dafür iterative numerische Optimierungsverfahren eingesetzt. In die- 
ser Arbeit wird der weit verbreitete Levenberg-Marquardt Algorithmus (LM) 
[21] verwendet. Des Weiteren gilt fiir alle im Rahmen der Arbeit verwendeten 
Ausgleichsprobleme, dass die Jacobi-Matrix der Residuenfunktion r(-) diinn 
besetzt (engl. sparse) ist. Diese Eigenschaft nutzen die verwendeten Sparse- 
Matrix-Solver [32] aus, wodurch auch Probleme mit sehr vielen Parametern 
und Residuen effizient gelöst werden können. Zur Lösung der Ausgleichs- 
probleme in dem zu dieser Arbeit entwickelten Softwareframework wird die 
C++-Bibliothek Ceres [66] verwendet. 


5.1.1 Bündelblockausgleich 


Das am häufigsten angewendete Verfahren zur gemeinsamen Schätzung von 
Posen, Kameramodellparametern und Landmarken auf Basis von assoziierten 
Merkmalen ist der sogenannte Bündelblockausgleich (engl. bundle adjust- 
ment). 


Eine Landmarke l; korrespondiert stets zu einer Menge Z; = {zı,...,zy} von 
Bildpunkten, die sich aus der zugehörigen Merkmalskorrespondenz ®; = 
Imı,...,my} ergibt. Der dem Merkmal m; zugeordnete Bildpunkt z; ent- 
springt aus dem Bild 7,,, das Kamera K,, aufgezeichnet hat. Außerdem sei 
P, die Pose des Fahrzeugs zum Zeitpunkt der Aufnahme des Bildes /,,. Da- 
mit kann für jedes Merkmal der zweidimensionale Rückprojektionsfehler 


Vp, = li — My; (K;,' Pl) (5.2) 


im Bildraum bestimmt werden, wobei 7;,(-) die Projektionsfunktion (3.5) und 
K,, die extrinsische Transformation der Kamera K;, darstellt. Durch Einset- 
zen von Gleichung (5.2) in Problemformulierung (5.1) ergibt sich das Biindel- 
blockausgleichsproblem. Sei P die Menge der zu optimierenden Fahrzeugpo- 
sen und L die Menge der zu optimierenden Landmarken, so ergibt sich durch 
Minimierung 
IL] 
P, Î = argmin ), 8 Irzlla, (5.3) 


j=l D'Stad 


die Menge an Posen P und Landmarken L, welche die involvierten Bildpunkt- 
korrespondenzen Zı,...,Zı,) am besten beschreibt. Jeder Messung ist hierbei 
eine Gewichtungsmatrix Q,, € R?*? zugeordnet. 
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Abbildung 5.1: Schematische Darstellung des Clusterausgleichsproblems (5.5) für zwei Clus- 
ter und drei Landmarken, welche die beiden Cluster auf Basis von Merkmalskorrespondenzen 
(Kanten) verknüpfen. 


5.1.2 Clusterausgleich 


In Anlehnung an das Bündelblockausgleichsproblem (5.3) wird in dieser Ar- 
beit ein weiteres Problem formuliert, das im Folgenden als Clusterausgleichs- 
problem bezeichnet wird. Die Idee dabei ist, lokale Posensegmente, die im 
Folgenden als Cluster bezeichnet werden, als “starre Körper” aufzufassen und 
nur die Cluster aneinander anzupassen. 


Ein Cluster C C P bezeichnet i. A. eine Teilmenge der Menge aller betrachte- 
ten Posen P. Im Rahmen der Kartengenerierung ist ein Cluster jedoch stets ein 
lokales Trajektoriensegment von konsekutiven Fahrzeugposen aus einer ein- 
zelnen Aufnahmesequenz. Seien Cj,...,C„ disjunkte Cluster, wobei o B. d. 
A. |C;| = {Pı,...,P,.};| die Anzahl der Posen eines Clusters ist. Abbildung 
5.1 zeigt beispielsweise n = 2 Cluster mit jeweils |Cı | = 3 bzw. |C2| = 4 Posen. 
Wie in Abbildung 5.1 dargestellt, wird für jedes Cluster C; die erste Pose als 
Basispose B definiert. Alle verbleibenden Posen P2 BD: BoB Da 
in Cluster C; können dann relativ zur Basispose B formuliert werden. So- 
mit kann C; durch die Menge {B,Dy,... Dn}; repräsentiert werden. Sei des 
Weiteren © = Io rh, Du die Menge der Merkmalskorrespondenzen, die 
mindestens zwei verschiedene Cluster verkniipfen. Eine Merkmalskorrespon- 
denz ©; verknüpft dabei k Cluster, wenn sie k < |®;| Merkmale umfasst, deren 
Ursprungskamerabilder zu k verschiedenen Fahrzeugposen korrespondieren- 
den, die alle einem unterschiedlichen Cluster zugeordnet sind. Außerdem sei L 
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die Menge der zu © korrespondierenden Landmarken. In Anlehnung an Glei- 
chung (5.2) kann so der Riickprojektionsfehler 


Tx; = Zi — Hr eat (at ah (5.4) 


bezüglich der Basispose B,, des zu z; korrespondierenden Clusters C}; for- 
muliert werden. Des Weiteren bezeichnet Dz, die Relativpose innerhalb des 
Clusters C,, und Lk die Landmarke, die zum Bildpunkt z; korrespondiert. Wie 
bei der Formulierung des Bündelblockausgleichsproblems bezeichnet 7;,(-) 
die Projektionsfunktion und K,, die extrinsische Transformation der Kamera 
K, die das Kamerabild, aus dem der Bildpunkt z; entspringt, aufgezeichnet 
hat. In Analogie zum Bündelblockausgleichsproblem (5.3) ergibt sich durch 
Minimierung 
|L] 

Ê,Î = argmin DE A 59 
die optimale Schätzung Ê der Basisposen B aller involvierten Cluster und die 
optimale Schätzung Ê der Landmarken L, die mindestens in zwei der |B| ver- 
schiedenen Cluster beobachtet wurden. Im Falle von |C;| = 1, Vi € {1,...,n} 
geht Problem (5.5) in das Bündelblockausgleichsproblem (5.3) über. 


Durch den Clusterausgleich werden im Vergleich zum Bündelblockausgleich 
sowohl Parameter als auch Residuen eingespart. Dadurch reduziert sich die 
Dimension der Jacobi-Matrix der Residuenfunktion, da sich diese aus dem 
Produkt aus der Anzahl der Messungen und der Anzahl der Parameter im Aus- 
gleichsproblem ergibt. Der Berechnungsaufwand zur Lösung von Ausgleichs- 
problemen durch numerische Optimierungsverfahren ist wiederum maßgeb- 
lich von der Dimension der Jacobi-Matrix der Residuenfunktion abhängig, 
da diese in jedem Optimierungschritt im aktuellen Zustand ausgewertet und 
invertiert werden muss [21]. Daher wird auch der Berechnungsaufwand zur 
Lösung eines Clusterausgleichsproblems im Vergleich zum Bündelblockaus- 
gleich signifikant reduziert. Die wesentliche Reduktion des Berechnungsauf- 
wands ergibt sich dabei durch die reduzierte Anzahl der Landmarken, da nur 
jene Landmarken geschätzt werden, welche die verschiedenen Cluster auf Ba- 
sis ihrer zugehörigen Merkmalskorrespondenzen miteinander verbinden. 


5.1.3 Posendifferenzenausgleich 


Ein integraler Bestandteil der Kartengenerierung ist die gemeinsame Schät- 
zung von Fahrzeugposen P auf Basis gegebener Posendifferenzen D. Im Rah- 
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men der Kartengenerierung wird die Trajektorie einer neuen Aufnahmese- 
quenz, welche der Karte hinzugefügt werden soll, durch Lösen eines Posen- 
differenzenausgleichsproblems an die bestehende Karte angepasst. 


Eine Posendifferenz D;_,; € D assoziiert jeweils zwei Fahrzeugposen P;, P; € 
P aus der gleichen oder unterschiedlichen Aufnahmesequenzen. Das Posen- 
differenzenresiduum 

rp, = E (Di P P) (5.6) 


bewertet den Unterschied zwischen der Posendifferenzmessung D; : und der 
durch die Fahrzeugposen P; und P; induzierte Posendifferenz Pr! -P; [67]. 
Die Funktion E : SE (3) — R® bildet eine isometrische Transformation auf ei- 
nen sechsdimensionalen Vektor ab. Die ersten drei Komponenten dieses Vek- 
tors repräsentieren die Rotation in einer Winkelachsendarstellung [68] und die 
verbleibenden drei Komponenten die Translation. Im Falle von D; ; = P7! P 
gilt daher rp, , = 0. 


Der Posendifferenzenausgleich 


P=argmin X In IC, , (5.7) 
Dech Lj 


ergibt die optimale Posenschätzung Ê der Posen P bezüglich der Posendiffe- 
renzenmessungen D. Zusätzlich wird angenommen, dass für jede Posendiffe- 
renz eine positiv semi-definite symmetrische Gewichtungsmatrix Op, , € Ess 
gegeben ist. Stellt die Struktur des Parametergraphen von Posendifferenzen- 
ausgleichsproblem (5.7) eine Baumstruktur dar, ist das Problem eindeutig be- 
stimmt und hat daher ein verbleibendes Gesamtresiduum von 0. Die optimale 
Lösung kann in diesem Fall durch Integration (mittels Traversierung durch 
Breiten- oder Tiefensuche; siehe Abschnitt 5.2.3) der Posendifferenzen be- 
stimmt werden. 


Im Rahmen der Kartengenerierung wird eine Teilmenge Pix C P beim Lösen 
von Ausgleichsproblem (5.7) fixiert. Dadurch passen sich die verbleibenden 
Posen P \ Pix an die konstant gehaltenen Posen Pix an. Des Weiteren werden 
zur Kartengenerierung GNSS-Positionsmessungen 


"pi cnss — Pi — PiGNSS (5.8) 


zur globalen Korrektheit der Kartenposenschätzung und zur Georeferenzie- 
rung in den Posendifferenzenausgleich (5.7) integriert, sofern diese verfügbar 
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sind. Dabei ist p; € R? die Translationskomponente von Pose P; und p;.Gnss 
eine gemessene GNSS-Position, deren Aufnahmezeitpunkt zum Aufnahme- 
zeitpunkt von P; korrespondiert. Die Positionsmessung Doss ist dabei in 
kartesischen Koordinaten (beispielsweise UTM-Koordinaten [69]) repräsen- 
tiert. Für jedes GNSS-Messungsresiduum existiert zusätzlich eine Gewich- 
tungsmatrix Un, owes € R?*3, die den Einfluss der Messung Dn wee auf die 
Schätzung der Kartenposen bestimmt. 


5.1.4 AusreiBerbehandlung 


Neben einer guten Initialisierung ist die Identifikation und Entfernung von 
Ausreißern von fundamentaler Wichtigkeit bei der Lösung von nichtlinearen 
Ausgleichsproblemen. Im Folgenden werden die verwendeten Methoden be- 
schrieben: 


e RANSAC 

RANSAC [70] ist in seiner ursprünglichen Formulierung ein iterativer 
Algorithmus, der in jeder Iteration zufällig eine repräsentative Teilmen- 
ge aus allen verfügbaren Messungen auswählt und mit diesen das zu 
lösende Ausgleichsproblem löst. Danach werden alle Residuen mit den 
in der Iteration geschätzten Parametern evaluiert und schwellwertbasiert 
die Menge von Messungen bestimmt, welche die geschätzten Parameter 
unterstützen (engl. consensus set). Dieser Vorgang wird bis zum Errei- 
chen eines Abbruch-Kriteriums wiederholt und es werden die Parameter 
mit den meisten Unterstützern weiterverwendet. 


e Vorauswahl 
Bei der Vorauswahl wird eine gute Initialisierung der zu schätzenden 
Parameter vorausgesetzt. Dabei werden vorab alle Residuen evaluiert 
und nur jene mit nicht zu großen Initialkosten für die Parameterschät- 
zung verwendet. 


e Verlustfunktionen 
Im Gegensatz zum RANSAC und der Vorauswahl werden bei der An- 
wendung von Verlustfunktionen (engl. loss functions) Ausreißer nicht 
entfernt, sondern ihr Einfluss auf den Gradientenabstieg abgeschwächt 
[66]. Dazu wird jeder Summand ||r;(x)||? in (5.1) durch p (||r;(x)|]?) 
ersetzt, wobei p : R — R die Verlustfunktion darstellt. Eine prominen- 
te Verlustfunktion ist die Cauchy-Verlustfunktion p(7;(x)) = log(1 + 
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5.2 


\|r:(x)||?), bei welcher der Einfluss des Gradienten des Residuums r; (x) 
auf den Gradientenabstieg für steigende Kosten von r;(x) nahezu gänz- 
lich verschwindet. 


Deaktivierbare Residuen 

Deaktivierbare Residuen (engl. switchable constraints) schwächen, ähn- 
lich wie Verlustfunktionen, den Einfluss von Ausreißern auf den Gra- 
dienten ab [71]. Im Unterschied zu Fehlerfunktionen geht jedoch die 
Abschwächung einzelner Residuen mit zusätzlichen Kosten einher, so- 
dass Residuen nur dann abgeschwächt werden, wenn die zusätzlichen 
Kosten zu geringeren Gesamtkosten führen. Dazu wird das Residu- 
um r;(x) mit einer Aktivierungsfunktion ¥ : R — [0,1] multipliziert, 
wodurch sich das deaktivierbare Residuum Y(s;) - r;(x) ergibt. Die Ak- 
tivierungsfunktion hängt dabei von einer Aktivierungsvariable s; € R 
ab, die dem Ausgleichsproblem als zusätzlicher Parameter hinzugefügt 
wird. Des Weiteren wird dem Ausgleichsproblem für jede hinzugefügte 
Aktivierungsvariable ein weiteres Residuum s; — y; hinzugefügt, dass 
eine Änderung der Aktivierungsvariable s; bestraft. Dies führt bei ge- 
eigneter Initialisierung dazu, dass Ausreißerkanten im Parametergraph 
dynamisch herabgewichtet werden. Gemäß [71] wird s; = y; = 1 initia- 
lisiert und 


0, s;<0 
P(si)= 4s; OSs <1 (5.9) 
1, Ss; > 1 


als beschränkt lineare Funktion gewählt. 


Initialisierungsmethoden 


Nichtlineare Ausgleichsprobleme sind i. A. keine konvexen Optimierungspro- 
bleme und haben oft mehrere lokale Minima. Dadurch besteht die Gefahr, dass 
iterative, numerische Optimierungsverfahren in ein falsches Minimum konver- 
gieren und so die zu optimierenden Parameter schlecht oder falsch geschätzt 
werden. Maßgeblich für ein korrektes Konvergenzverhalten ist die Initialisie- 
rung der zu schätzenden Parameter. Entscheidend dabei ist, dass die initialen 
Parameter in der Nähe des korrekten Minimums liegen, sodass der Gradien- 
tenabstieg dieses erreichen kann. Die Methoden zur Initialschätzung der Kar- 
tenparameter werden in den folgenden Abschnitten detailliert beschrieben. 
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5.2.1 Odometrie 


Der erste Schritt zur Integration einer neuen Aufnahmesequenz S in die be- 
stehende Karte ist die Schätzung T der gefahrenen Trajektorie durch einen ge- 
fensterten Biindelblockausgleich. Die Initialisierungschätzung Todom für den 
Biindelblockausgleich wird hierbei durch Odometrie berechnet. 


Das entwickelte Kartierungsframework ermöglicht die modulare Einbettung 
unterschiedlicher Odometrieverfahren. Es werden die folgenden Odometrie- 
verfahren unterstützt: 


e Visuelle Odometrie 

Stehen ausschließlich Kamerabilder zur Verfügung, wird Todom mittels 
visueller Odometrie (VO) bestimmt. Stellt die verwendete Kamerakon- 
figuration mindestens zwei Kameras mit hinreichend überlappenden 
Sichtfeldern bereit, kann stereoskopische VO verwendet werden [72]. 
Falls kein Kamerapaar mit hinreichendem Sichtfeldüberlapp vorhanden 
ist, wird die Odometrie mittels monokularer VO bestimmt [72], [73]. 
Die Skalenschätzung erfolgt dabei durch Messungen aus einem Lasers- 
canner oder durch Wissen der Höhe der Kamera über der Fahrbahn. 


Integration von Bewegungsinformation 

Sind zusätzlich zu den Kamerabildern Messungen des Lenkwinkels und 
der linearen Beschleunigung aus der Fahrzeugsensorik verfügbar, kön- 
nen diese zur Odometrieschätzung verwendet werden. Mit diesen Mess- 
ungen wird unter Verwendung eines dynamisches Einspurmodells [74] 
die Odometrietrajektorie Todom durch Vorwärtsintegration bestimmt. Im 
Gegensatz zu VO schätzt das verwendete Fahrzeugmodell nicht die 
Roll-, Nick- und Vertikalbewegung des Fahrzeugs. Daher werden diese 
Parameter mit 0° initialisiert. Da ein Fahrzeug jedoch nur sehr klei- 
ne Rollwinkeländerungen, Nickwinkeländerungen und vertikale Posi- 
tionsänderungen zwischen konsekutiven Fahrzeugposen während einer 
durchschnittlichen Fahrt erfährt, ist die Initialisierung des Bündelblock- 
ausgleichs durch das Fahrzeugmodell ausreichend genau. 


5.2.2 Lokalisierung 


Zur Erstellung von Lokalisierungskarten aus mehreren Aufnahmesequenzen 
müssen diese geometrisch zueinander referenziert werden. Dazu wird eine 
neue Aufnahmesequenz S initial durch Lokalisierung in die bestehende Karte 
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Abbildung 5.2: Trajektorie (Blau) einer neuen Aufnahmesequenz S und einer bereits kartierten 
Trajektorie (Rot), die sich teilweise überlappen. Die dargestellten Kanten in den hervorgehobenen 
Bereichen zeigen beispielhaft die Zuordnung von Lokalisierungsposen To (Blaue Punkte) zu 
ihren nächsten Kartenposen (Rote Punkte). Für Posen der Aufnahmesequenz S, die mit keiner 
Kante verbunden sind, konnte keine Lokalisierung bestimmt werden. 


registriert. Dafür werden die aufgezeichneten Bilder in der gleichen Art und 
Weise wie bei der Echtzeitanwendung im Fahrzeug lokalisiert. Aus der Loka- 
lisierung ergibt sich eine Sequenz von Lokalisierungsposen Tioc, die zu einer 
Teilmenge der Aufnahmepunkte in S korrespondiert. Dies ist in Abbildung 
5.2 beispielhaft dargestellt. Die rote Trajektorie stellt die Kartentrajektorie dar 
und die blaue die Trajektorie der zu kartierenden Aufnahmesequenz S. Die 
durch Kanten verbunden Posen, die als blaue Punkte in Abbildung 5.2 darge- 
stellt sind, zeigen Posen aus der Aufnahmesequenz S, die erfolgreich lokali- 
siert werden konnten. 


Ringschluss-Lokalisierung 


Ein Speziallfall ist die Referenzierung von Ringschlüssen innerhalb einer neu- 
en Aufnahmesequenz S. Diese werden durch eine Ringschlussdetektion mit- 
tels GNSS oder der entwickelten Ortswiedererkennung detektiert. Das Resul- 
tat sind Paare von Aufnahmezeitpunkten 1,7%} € S, die den gleichen Ort 
zu unterschiedlichen Zeitpunkten aus einer ähnlichen Beobachtungspose ab- 
bilden. Da sporadisch falsche Ringschlussdetektionen auftreten können, wird 
eine Lokalisierung an allen gefundenen Ringschlusspaaren initialisiert und 
konsekutiv fortgeführt. Dadurch werden zum einen Ringschlusskandidaten 
validiert und zum anderen weitere Ringschlusspaare durch eine fortlaufende 
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Abbildung 5.3: Darstellung der initialen Trajektorienschätzung Todom mit Ringschluss, der auf- 
grund von Odometriedrift nicht korrekt geschlossen wurde. Im hervorgehobenen Bereich ist bei- 
spielhaft ein detektiertes Ringschlusspaar Jr, Y} dargestellt. Der grüne Bereich zeigt den Tra- 
jektorienabschnitt, für den eine temporäre Lokalisierungskarte berechnet wird. Die Lokalisierung 
startet initial mit den Bildern ©; von Aufnahmepunkt Y; und bewegt sich entlang der gefahrenen 
Trajektorie weiter. Wird das Ende der lokalen Karte erreicht, wird der Kartenbereich der tempo- 
rären Lokalisierungskarte entlang der Trajektorie Toqdom verschoben. 


metrische Lokalisierung bestimmt. Für die neue Aufnahmesequenz ist jedoch 
noch keine Lokalisierungskarte verfügbar. Daher wird eine temporäre lokale 
Lokalisierungskarte in der Umgebung von Y; berechnet und an Stelle Y; die 
Lokalisierung initialisiert. Zur Erstellung der temporären Lokalisierungskar- 
ten wird eine initiale Trajektorienschätzung Todom Vorausgesetzt. Abbildung 
5.3 zeigt dieses Vorgehen schematisch. 


5.2.3 Aufspannende Bäume 


Der Ausgangspunkt für das Aufstellen und Lösen eines Posendifferenzenaus- 
gleichsproblems (5.7) im Rahmen der Kartengenerierung ist eine gegebene 
Menge von Posendifferenzen D. Der korrespondierende Parametergraph ver- 
knüpft jeweils zwei Posen P; und P ; aus der Menge der zu schätzenden Posen 
P durch eine Posendifferenz D;_,; € D. Die Menge D umfasst i. A. konseku- 
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Abbildung 5.4: Parametergraph eines exemplarischen Posenausgleichsproblems. In Rot darge- 
stellt ist eine mögliche Traversierungsreihenfolge durch Tiefensuche und in Grün eine mögliche 
Variante der Traversierungsreihenfolge der Breitensuche. Es ist ersichtlich, dass einzelne Traver- 
sierungspfade bei der Breitensuche deutlich kürzer sind. 


SS 


Abbildung 5.5: Initialisierung durch Tiefensuche (Links) und durch Breitensuche (Rechts). Wah- 
rend sich bei der Traversierung durch Tiefensuche der Odometriedrift integrieren kann, bleiben 
einzelne Pfade bei der Integration entlang der Traversierungsreihenfolge durch Breitensuche nä- 
her beeinander. In der Detailansicht sieht man den verbleibenden Sprung, an dem die Enden der 
Traversierung wieder zusammenkommen. Das initiale Residuum von Problem (5.7) ist bei der 
Initialisierung durch Breitensuche bedeutend kleiner. 
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tive Posendifferenzen, Ringschlussdifferenzen als auch Differenzen zwischen 
Posen verschiedener Aufnahmesequenzen, wodurch sich i. A. eine nicht zy- 
klenfreie Graphenstruktur ergibt. Zur Initialisierung von P wird der Graph da- 
her ausgehend von einer Startpose Pp mittels Breitensuche [75] traversiert, wie 
in Abbildung 5.4 dargestellt ist. Alle weiteren Posen werden dann ausgehend 
von Po gemäß der Traversierungsreihenfolge durch Integration der entspre- 
chenden Posendifferenzen initialisiert. 


Die Initialisierung des Posendifferenzenausgleichs durch Breitensuche ist bes- 
ser geeignet als eine Initialisierung durch Tiefensuche, da sich bei der Brei- 
tensuche einzelne Integrationspfade nur bis zur nächsten Verzweigung aus- 
breiten. Der Odometriedrift einzelner Pfade prägt sich daher auch nur bis zur 
nächsten Verzweigung aus. Abbildung 5.5 zeigt vergleichsweise initialisier- 
te Posen der dreifachen Umrundung eines Rundkurses durch Breiten- und 
Tiefensuche. Die Initialisierung durch Tiefensuche zeigt deutlich den Odo- 
metriedrift entlang einzelner Integrationspfade. Das initiale Gesamtresiduum 
gemäß (5.7) ist im Falle der Initialisierung durch Breitensuche in diesem Bei- 
spiel wesentlich geringer. 


Existiert eine nichtleere Menge Pix € P von Posen, die während der Optimie- 
rung des Posendifferenzenausgleichs konstant gehalten werden, gilt Po € Pax. 
Auf diese Weise startet die Integration aus der Menge der fixierten Posen 
heraus, sodass sich die nicht fixierten Posen an PA, anpassen. Erreicht die 
Traversierung eine weitere Pose Pı € Pix, bleibt diese unverändert und die 
Integration setzt sich von P; aus fort. Das Gleiche gilt für die Verwendung 
von GNSS-Messungen. Hier startet die Integration von einer Pose, der ei- 
ner GNSS-Messung zugeordnet wurde, sodass bereits durch die Initialisierung 
durch Breitensuche eine Georeferenzierung erzielt wird. 


5.2.4 Landmarkentriangulation 


Die Initialisierung der Landmarken für den Bündelblockausgleich bzw. Clus- 
terausgleich wird durch Triangulation berechnet. Eine Landmarke 1 € R? kor- 
respondiert stets zur einer Merkmalskorrespondenz © = {mı,...,my}, N > 
1 und es wird vorausgesetzt, dass bereits eine Schätzung der Kameraposen 
Co = {C1,...,Cy} bekannt ist. Dabei ist C; € Co die Kamerapose, die zu 
jenem Bild korrespondiert, in dem m; € © detektiert wurde. Mittels des Rota- 
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Abbildung 5.6: Darstellung des Triangulationsfehlers (5.11). Die Sichtstrahlen sind i. A. wind- 
schiefe dreidimensionale Geraden. 


tionsanteils R; € SO(3) von C; und der Projektionsfunktion (3.6) kann der zu 
Merkmal m; korrespondierende Sichtstrahl 


r; =R;: K;(Z;) (5.10) 


im globalen Koordinatensystem dargestellt werden, wobei z; die zu m; kor- 
respondierende Bildkoordinate ist. Des Weiteren stellt der Positionsanteil 
p; € R? von C; den Aufpunkt des Sichtstrahls im globalen Koordinatensystem 
dar. 


Zur Triangulation wird angenommen, dass die Beobachtungspositionen {p1, 
.., Py } unterschiedlich und die korrespondierenden Sichtstrahlen {r1,..., ry } 
nicht kollinear sind. Im Idealfall schneiden sich alle Sichtstrahlen exakt in I. 
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Aufgrund von Schätzungenauigkeiten in der Kalibrierung und in den Kamer- 
aposen Co und aufgrund von Detektorrauschen ist dies jedoch in der Praxis i. 
A. nicht erfüllt. Daher wird zur Triangulation einer Landmarke der senkrechte 
Abstand der Landmarke | zu allen Sichtstrahlen minimiert, wie in Abbildung 
5.6 dargestellt ist. Der senkrechte Abstandsvektor des i-ten Sichtstrahls zur 
Landmarke l ergibt sich durch 


d; = (l-p;) -r/ (I— pi) ri. (5.11) 
Somit lässt sich I durch P 
: Tq. 
nd d; (5.12) 
schätzen. Da Problem (5.12) quadratisch in l ist, kann durch die Bedingung 
ð (EL, d’d;) 
= ad 
En 0 (3.13) 
die geschlossene Lösung 
N N Try 
Î= |} I-re X A-ri? )p: (5.14) 
i=1 i=1 


bestimmt werden, wobei I € R?*? die dreidimensionale Einheitsmatrix be- 
zeichnet. 


5.3 Trajektorienvalidierung 


Eine unverzerrte und skalentreue Trajektorienschätzung ist für die Kartenge- 
nerierung und Lokalisierung von fundamentaler Bedeutung. Eine Anpassung 
weiterer Trajektorien an bereits verzerrte Kartentrajektorien kann zu einer fal- 
schen und verzerrten Gesamtschätzung der Kartenposen führen. Zur Detek- 
tion und Behandlung solcher Verzerrungen werden die geschätzten Trajek- 
torien mit geometrischen Bewegungsmodellen validiert. Die Validierung ba- 
siert auf der Annahme, dass die Kameras auf einem Fahrzeug montiert sind 
und dessen Bewegung nicht-holonomen Zwangsbedingungen unterliegt. Die 
folgenden Abschnitte 5.3.1 und 5.3.2 beschreiben die geometrischen Model- 
le zur Validierung dieser Zwangsbedingungen. Da im Laufe der Kartierung 
unterschiedliche Schätzungen der gleichen Trajektorie mit unterschiedlichen 
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Nebenbedingungen berechnet werden, können die verschiedenen Trajektori- 
enschätzungen wechselseitig zueinander verglichen und so ebenfalls Verzer- 
rungen identifiziert werden. Dies ist in Abschnitt 5.3.3 beschrieben. Da bis auf 
die aufgezeichneten Kamerabilder keine weiteren Sensorinformationen vor- 
ausgesetzt werden, basieren alle Modelle auf geometrischen Betrachtungen. 


5.3.1 Momentanpolbewegung 


Bei der Momentanpolbewegung wird angenommen, dass sich das Fahrzeug 
auf einem Kreis mit konstantem Mittelpunkt und Radius bewegt. Sei Ay die 
laterale, Ax die longitudinale Positionsänderung und Ay die Rotationsände- 
rung um die Fahrzeughochachse zwischen den geschätzten Fahrzeugposen P; 
und P;;,„, so kann bei der Bewegung des Fahrzeugs auf einer Kreisbahn 


1—cos(Ay) 


Ay = fa (Ax, AY) = Ax sin(Ay) 


(5.15) 
als Funktion von Ax und Ay bestimmt werden. Abbildung 5.7 (Links) stellt 
diesen Zusammenhang geometrisch dar. Da die Momentanpolapproximation 
nur innerhalb eines kurzen Zeitraums gültig ist, muss der Zeitunterschied zwi- 
schen dem Aufnahmezeitpunkt t; der Pose P; und dem Aufnahmezeitpunkt 
t;ı„ der Pose P;,,, hinreichend klein sein. Durch einen Schwellwertvergleich 
Ay — f(Ax,Ay)| < T, kann bestimmt werden, ob die Relativbewegung zwi- 
schen P; und P; dieses Modell verletzt und daher eine fehlerhafte Bewegungs- 
schätzung vorliegt. Hierbei ist angenommen, dass sich das Fahrzeug nicht im 
hochdynamischen Bereich bewegt. 


Abbildung 5.7 (Rechts) zeigt den Graphen der Funktion (5.15). Da das Modell 
(5.15) nur für kurze Zeiträume und daher nur für kleine Winkel Ay gültig ist, 
kann dies durch 


1 
Ay = fo(Ax, Ay) = Zar. (5.16) 


approximert werden und ist daher giinstig auszuwerten. Ein weiterer Vorteil 
der Approximation (5.16) ist, dass sie unabhängig von Ay ist und daher im 
Gegensatz zu (5.15) fiir Ay = 0 numerisch stabil ist. 
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Ay 


Abbildung 5.7: Links: Geometrie bei einer Bewegung auf einer Kreisbahn mit Radius R. Rechts: 
Graph der Funktion (5.15) (Blau) und der Approximation (5.16) (Rot) fiir Ax = 1. Fiir kleine y 
kann das Modell (5.15) mit ZA approximert werden. 


5.3.2 Polynomielle Approximation 


Eine Möglichkeit, die lokale Glattheit einer Trajektorienschätzung T zu ana- 
lysieren, ist der Vergleich eines lokalen Trajektorienabschnitts mit der Appro- 
ximation dieses Trajektorienabschnitts durch ein Polynom 


m 


a” (x)= $ bx! (5.17) 
j=0 


m-ten Grades. Mit den in Abschnitt 3.1 getroffenen Annahmen an die maxima- 
le Fahrgeschwindigkeit des Fahrzeugs und die Aufnahmefrequenz kann eine 
glatte und kontinuierliche Trajektorie T angenommen werden. Durch den Ver- 
gleich der Trajektorienposen mit einer polynomiellen Approximation können 
Trajektorienspriinge, die die nicht-holonomen Zwangsbedingungen verletzen, 
identifiziert werden. 


Die Posen Po,...,P,, € T stellen in minimalparameterischer Form &(Po),..., 
&(P,,) gemäß Abschnitt 5.1.3 eine diskrete Approximation 


p(t) =€(P),0<i<n (5.18) 


von komponentenweisen Zeitsignalen p(t) = [pi(t),...,p6(t)|’ dar. Jedes der 
sechs Signale bildet dabei eine Rotations- bzw. Translationskomponente ab, 
wobei ?o,...,f„ die Aufnahmezeitpunkte der Bilder zu den Posen Po,...,P, 
bezeichnen. Zur Überprüfung werden die Signale durch ein Polynom ar (t) 


innerhalb eines gleitenden Zeitfensters |ts, te] approximert. Dafür werden die 
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Polynomparameter bı, ...,bm von a?” (t) für jedes der sechs Signale durch Lö- 
sen eines linearen Ausgleichsproblems geschätzt. Die Residuen sind hierbei 
die Abweichung p;(t) — a? (t) des Polynoms a?” (t) von den Signalen p;(t) an 
den diskreten Abtastzeitpunkten innerhalb des gleitenden Zeitfensters It, te]. 
Ist der Grad m des Polynoms dabei kleiner als die Anzahl der in dem Fens- 
ter liegenden Abtastzeitpunkte, werden lokale Spriinge bzw. hochfrequente 


Schwingungen gedämpft. 
Auf die gleiche Weise kann das diskrete Posendifferenzensignal 


tiz1 +h 


di ) =E(Dj_1;),0 <i<n (5.19) 


bzw. das korrespondierende Geschwindigkeitssignal 


tip tt d tiitt 
v( 5 )= = ia (5.20) 
2 


der Trajektorienschätzung T komponentenweise durch Polynome approximert 
und zeitkontinuierlich dargestellt werden. Treten bei der Anpassung des Poly- 
noms an die Messungen ungewöhnlich hohe Residuen auf, deutet dies auf eine 
Störung hin. Störungen können daher einfach schwellwertbasiert identifiziert 
werden. 


Abbildung 5.8 zeigt beispielhaft das Posendifferenzensignal d4(t) (Blau) mit 
einer Störung, die durch den Vergleich zu dem geschätzten Polynom al (t) 
(Rot) identifiziert wurde. Die Fensterlänge wurde dabei zu 0.7 Sekunden ge- 
wählt, sodass das gleitende Approximationsfenster ~ 7 Posen umfasst. Das 
Posendifferenzensignal d4(t) stellt in dem Beispiel die laterale Fahrzeugbe- 
wegung dar. 


5.3.3 Trajektorienvergleich 


Da im Rahmen der Kartengenerierung verschiedene Schätzungen der glei- 
chen Trajektorie mit unterschiedlichen Randbedingungen erfolgen, können 
diese miteinander verglichen und dadurch Trajektorienverzerrungen identifi- 
ziert werden. Dazu wird der Trajektoriendrift [76] zwischen verschiedenen 
Schätzungen T, und T, der gleichen Trajektorie T bestimmt. Sei D’=P; L 
P;+n die Posendifferenz zwischen Fahrzeugpose P; € T, und Fahrzeugpose 
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Abbildung 5.8: Oben: Signal v4(t) (Blau) der lateralen Fahrzeuggeschwindigkeit aus einer 
Trajektorienschätzung mittels SVO und der korrespondierenden polynomiellen Approximati- 
on p4(t) (Rot) bei einer Fensterlänge von sieben Aufnahmepunkten und einer Aufnahmefre- 
quenz von ~ 10Hz. Unten: Korrespondierende Bilder zum Zeitpunkt der Störung in der SVO- 
Trajektorienschätzung. 


P;ı„ € Ta und D? die korrespondierende Differenzpose aus Trajektorienschät- 
zung T}, so ist DÉI = (D4)~! . D? ein Maß für den Drift des betrachteten Tra- 
jektorienabschnitts. Durch Iteration des Laufindex i über die gesamte Trajek- 
torie ergibt sich der Drift für jeden Trajektorienabschnitt. Der Index n definiert 
die zwischen den Posen P; und P;,,, zurückgelegte Fahrstrecke. Für kleinere 
Werte von n wird der lokale Trajektoriendrift bewertet und für größere Werte 
der globale Drift. 
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In diesem Kapitel wird die iterative Erzeugung einer Kartendatenbank aus 
mehreren Aufnahmesequenzen beschrieben. Die Kartendatenbank M, ist die 
Grundlage zur Erzeugung der Lokalisierungskarte MŁ, die zur Lokalisierung 
im Fahrzeug und im Rahmen der Kartengenerierung benötigt wird. 


Der grundsätzliche Ablauf der iterativen Kartengenerierung ist in Abbildung 
6.1 dargestellt. Es wird angenommen, dass bereits eine Kartendatenbank M, = 
{P,,Ln,@n} besteht, die aus n zuvor aufgezeichneten Aufnahmesequenzen 
Ai... Bn erzeugt wurde und die Posen P,, die Landmarken L, und die Merk- 
malskorrespondenzen ©, umfasst. Die Kartenposen P, setzen sich somit aus 
den Trajektorienposen der zuvor kartierten Sequenzen S),...,S, zusammen. 
Durch die Kartengenerierung liegen die Kartenposen P, und Landmarken L, 
in einer gemeinsamen, konsistenten Repräsentation vor. Das Ziel der in die- 
sem Kapitel beschriebenen iterativen Kartengenerierung ist die Integration ei- 
ner weiteren Aufnahmesequenz S„+1 in die bestehende Kartendatenbank M,,. 
Durch die Integration der neuen Aufnahmesequenz S,„;ı werden die Trajek- 
torienposen von S,,,, konsistent und präzise an die Kartenposen P, ange- 
passt und die bestehenden Merkmalskorrespondenzen ©, und Landmarken Lyn 
durch Assoziation zu Merkmalen aus $,„, aktualisiert und erweitert. Wurde 
bei der Aufzeichnungsfahrt von S,; sowohl kartiertes als auch bisher unkar- 
tiertes Gebiet befahren, wird die Karte automatisch um bisher nicht kartierte 
Gebiete erweitert, da stets die Trajektorienposen der gesamten Aufnahmese- 
quenz S„+1 in die Karte übernommen werden. Aus der aktualisierten Karten- 
datenbank M„+ı ergibt sich darauffolgend die verbesserte und aktualisierte 


Lokalisierungskarte MŁ ij 


In Abschnitt 6.1 wird die Prozesskette zur Aktualisierung und Erzeugung der 
Kartendatenbank geschildert. Danach werden in Abschnitt 6.2 wichtige De- 
tails der Optimierungs- und Assoziationsstrategie im Rahmen der Kartenge- 
nerierung analysiert. Abschließend werden in Abschnitt 6.3 die Ergebnisse der 
Erstellung einer Kartendatenbank aus 14 Aufnahmesequenzen präsentiert. 
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Assoziation und Landmarken- und 
Parameter- Merkmals- 
bestimmung selektion 


Abbildung 6.1: Ablauf der iterativen Kartengenerierung. 


6.1 Ablauf 


Um die Posen P, und Landmarken L, präzise und konsistent schätzen zu kön- 
nen, wird ein hoher Verknüpfungsgrad der Kartenkorrespondenzen ©, ange- 
strebt, sodass möglichst viele Merkmale zu jeweils einer Landmarke korres- 
pondieren. Außerdem sollten die Merkmalskorrespondenzen möglichst frei 
von Ausreißern sein. Wie in Abschnitt 4 gezeigt, kann durch eine genauere 
Schätzung der Kartenposen P, wiederum der Verknüpfungsgrad von ©, ge- 
steigert und die Wahrscheinlichkeit für Ausreißer verringert werden, da die 
geometrischen Annahmen zur Merkmalsassoziation besser erfüllt sind. Der in 
diesem Abschnitt vorgestellte Prozessablauf stellt eine mehrschrittige, aufein- 
ander aufbauende Ausführung von Parameterschätzungs- und Merkmalsasso- 
ziationsschritten dar. Die dabei erzielten Zwischenergebnisse der zu schätzen- 
den Fahrzeugposen werden zur gemometrischen Merkmalsassoziation gemäß 
Abschnitt 4.1.3 verwendet, wodurch der Verknüpfungsgrad der Merkmalskor- 
respondenzen gesteigert wird. Im nachfolgenden Schritt steigert dies wieder- 
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Abbildung 6.2: Ablauf der Aktualisierung der Kartendatenbank M, durch die Integration von 
Aufnahmesequenz S,+1.- 


um die Genauigkeit der Parameterschätzung. 


Die Generierung der Karte erfolgt vollautomatisch und skaliert für beliebig 
große Gebiete und beliebig viele Aufnahmesequenzen. Abbildung 6.2 zeigt 
die drei wesentlichen Schritte zur Integration einer neuen Aufnahmesequenz 
Sn+1 in die bestehende Kartendatenbank AM. 


Im ersten Schritt, der in Abschnitt 6.1.1 beschrieben ist, wird die neue Aufnah- 
mesequenz S+; unabhängig von der bestehenden Datenbank M, vorverarbei- 
tet, woraus eine Schätzung der gefahrenen Trajektorie Ts, ,, und Merkmalskor- 
respondenzen ®;, _, resultieren, die ausschließlich Merkmale zwischen aufge- 
zeichneten Bildern aus S,,.; verknüpfen. 


Im zweiten Schritt wird die Aufnahmesequenz S,„+1 zur bestehenden Karten- 
datenbank M, referenziert. Das Ergebnis dieses Schrittes sind Merkmalskor- 
respondenzen ©; , welche die Merkmalskorrespondenzen Os,,, zu den be- 
stehenden Kartenmerkmalskorrespondenzen ©, assoziieren. Außerderm wer- 
den Posendifferenzen D, x berechnet, welche die Trajektorienposen aus Ts,,, , 
präzise zu den Kartenposen P, referenzieren. Abschnitt 6.1.2 erläutert diesen 
Prozessschritt. 


Im letzten Schritt, der in Abschnitt 6.1.3 beschrieben ist, werden die finalen 
Kartenposen P,;; durch Lösen eines Posendifferenzenausgleichs unter Ver- 
wendung der zuvor bestimmten Posendifferenzen berechnet. Auf Basis der 
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Gefensterter Ringschluss- 
Odometrie Biindel- Optimierung 
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Abbildung 6.3: Prozessschritte der Sequenzaufbereitung. 


aktualisierten Kartenposen P„+ı werden die finalen Kartenlandmarken Z,+1 
trianguliert. 


6.1.1 Sequenzaufbereitung 


Abbildung 6.3 zeigt die Prozessschritte der kartenunabhängigen Vorverarbei- 
tung der neuen Aufnahmesequenz S,,;;. Durch Odometrie und einen darauf- 
folgenden gleitenden Bündelblockausgleich gemäß Abschnitt 5.1.1 wird eine 
initiale Schätzung Ts,,, der gefahrenen Trajektorie berechnet. Dafür werden 
Merkmalskorrespondenzen Oseq zwischen konsekutiven Bildern jeder Kame- 
ra des MKS bestimmt. Umfasst das MKS mehrere Kameras mit hinreichen- 
der Sichtfeldüberlappung, werden zusätzlich Merkmale zwischen Bildern ver- 
schiedener Kameras zum gleichen Zeitpunkt assoziiert. Außerdem wird eine 
Ringschlusslokalisierung gemäß Abschnitt 5.2.2 durchgeführt und darauf ba- 
sierend Posendifferenzen zwischen benachbarten Ringschlussposen abgelei- 
tet. 


Mit den Ringschlussposendifferenzen und den sequentiellen Posendifferen- 
zen, die sich aus der initialen Trajektorienschätzung 75, , ergeben, wird ein 
Posendifferenzenausgleich gelöst. Daraus resultiert eine verbesserte und in 
sich konsistente Trajektorienschätzung Ts,,,, die zur robusten Bestimmung 
der Merkmalskorrespondenzen ©,;, zwischen benachbarten Ringschlussbil- 
dern gemäß Abschnitt 4.1.3 verwendet wird. Die globale Verknüpfung aller in 
diesem Schritt berechneten Merkmalskorrespondenzen gemäß Abschnitt 4.3 


ergibt die Sequenzmerkmalskorrespondenzen ®s, ,. 
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Abbildung 6.4: Ablauf der Sequenz-Karte-Assoziation. 


6.1.2 Sequenz-Karte-Assoziation 


In diesem Prozessschritt werden die Posen der Sequenztrajektorie Ts„,, hoch 
genau zu den Kartenposen P, referenziert. Dazu werden die Merkmalskorre- 
spondenzen O; g berechnet, die einen Teil der Sequenzkorrespondenzen Os, . 
zu den Kartenkorrespondenzen ©, assoziiert. Abbildung 6.4 zeigt die dazu 


durchgefiihrten Prozessschritte, die im Folgenden beschrieben werden: 


1. Prereferenzierung 
Im ersten Schritt wird die Aufnahmesequenz A, —u in die bestehende Lo- 
kalisierungskarte MŁ gemäß Abschnitt 5.2.2 lokalisiert, wodurch sich 
die Lokalisierungstrajektorie TS ergibt. Die Trajektorie T= umfasst 
somit kartenrelative A zu allen Anbetung 
ten aus S„+1, die erfolgreich mit der Lokalisierungskarte MŁ lokalisiert 
werden konnten. In der Regel sind das Abschnitte der Aufnahmese- 
quenz S„+1, in denen bereits kartiertes Gebiet befahren wurde. In diesen 
Bereichen werden Posendifferenzen D!°° zwischen benachbarten Fahr- 
zeugposen aus den Kartenposen P, und der Lokalisierungstrajektorie 
TS berechnet. Diese werden daraufhin in einem Posendifferenzenaus- 


gleich verwendet, dessen Lösung die Trajektorie TË m ergibt, die initial 
DH n DH 
alle Posen aus S,,,; konsistent zu den Kartenposen P, referenziert. 
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2. Sequenz-Karte-Merkmalsassoziation 

Auf Basis der initial referenzierten Trajektorienposen werden 
die Merkmalskorrespondenzen ©, durch die geometrische Assozia- 
tion gemäß Abschnitt 4.1.3 berechnet. Die Merkmalskorrespondenzen 
©, assoziieren Merkmale aus den Kartenmerkmalskorrespondenzen 
©, zu den Merkmalen aus den zuvor berechneten Sequenzmerkmals- 
korrespondenzen ®s,,,, wodurch der Verknüpfungsgrad im Vergleich 
zur Merkmalsassoziation ausschließlich auf Basis der Lokalisierung ge- 
steigert wird. 


3. Cluster-Optimierung 
Zur Verbesserung der Konsistenz der Referenzierung En: durch die 
Lokalisierung werden Trajektoriencluster aus der Sequenztrajektorie 
Ts,,, mit benachbarten Trajektorienclustern aus den Kartenposen P, 
gepaart. Durch Lösen lokaler Clusterausgleichsprobleme gemäß Ab- 
schnitt 5.1.2 werden die gepaarten Trajektoriencluster präzise aneinan- 
der angepasst. Die aktualisierten Kartenkorrespondenzen ©„+1, die sich 
aus der Verknüpfung der bestehenden Kartenkorrespondenzen ©, mit 
den Sequenzmerkmalskorrespondenzen @s,,, und den Merkmalskor- 
respondenzen ®©, ergeben, werden dabei als Messungen verwendet. 
Das Ergebnis der Clusteroptimierung sind aus den optimierten Clustern 
abgeleitete Posendifferenzen D, ,. 


6.1.3 Finale Parameterschätzung 


Die letzten beiden Schritte der Kartengenerierung sind in Abbildung 6.5 dar- 
gestellt. Die finalen Kartenposen P,+1ı werden durch Lösen eines Posendiffe- 
renzenausgleich bestimmt. Als Messungen werden die Posendifferenzen aus 
der Sequenztrajektorie Ts, und die Posendifferenzen D, verwendet, die die 
Posen der Sequenztrajektorie zu den bestehenden Kartenposen P, referenzie- 
ren. Die Kartenposen P, werden dem Ausgleichsproblem als fixe Parameter 
hinzugefügt, sodass sich die Trajektorienposen aus S,+; an die Kartenposen 
anpassen. Liegen zusätzlich GNSS-Messungen vor, können diese ebenfalls im 
Posendifferenzenausgleich berücksichtigt werden, wodurch die Kartenposen 
georeferenziert werden können. Schlussendlich werden die Landmarken Ly, ; 
auf Basis der Merkmalskorrespondenzen ©„+1 und Kartenposen P,+] gemäß 
Abschnitt 5.2.4 trianguliert. 
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Abbildung 6.5: Ablauf der finalen Parameterschätzung. 


6.2 Analyse der Optimierungsstrategie 


Durch die fortlaufende Hinzunahme neuer Aufnahmesequenzen wächst die 
Kartengröße und die Anzahl der Kombinationsmöglichkeiten zur Assoziati- 
on von Merkmalen. Eine ganzheitliche gemeinsame Schätzung aller Parame- 
ter ist aus diesen Gründen praktisch nicht möglich. Wie zuvor beschrieben, 
zerlegt die entwickelte Methode die Karte daher in lokale Kartenfenster. Für 
jedes Fenster wird ein separates Bündelblock- bzw. Clusterausgleichsproblem 
zur hochgenauen Bestimmung der Landmarken und Posen gelöst. Nach der 
lokalen Optimierung werden ausschließlich Posendifferenzen aus den Posen 
jedes Optimierungsfensters abgeleitet und weiterverwendet. Durch das Lösen 
eines Posendifferenzenausgleichs unter Verwendung der abgeleiteten Posen- 
differenzen überträgt sich die Genauigkeit, die durch das Lösen der lokalen 
Ausgleichsprobleme erzielt wurde, in die finale Kartenposenschätzung. Auf 
diese Weise bleibt die Komplexität jedes Optimierungsproblems, unabhängig 
von der Länge der Aufnahmesequenz A, und der Anzahl der bereits kartier- 
ten Sequenzen in M,„, begrenzt, da 


1. die lokalen Optimierungsfenster immer eine konstante maximale Größe 
haben. Je länger eine Befahrung ist, desto mehr lokale Bündelblockaus- 
gleichsprobleme mit begrenzter Komplexität müssen verarbeitet wer- 
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den. Des Weiteren wird die Anzahl der Kombinationen von zu lösenden 
Clusterausgleichsproblemen auf eine maximale Anzahl begrenzt. Dies 
wird in in Abschnitt 6.2.2 im Detail beschrieben. 


2. die bestehenden Kartenposen P, im finalen Posendifferenzenausgleich 
fixiert werden, sodass ausschließlich die Posen T5, i der neuen Befah- 
rung optimiert werden. Umfasst Ts„,, mehr als eine maximale Posenan- 

zahl, wird die Trajektorie in Abschnitte unterteilt und abschnittsweise 

an die Kartenposen angepasst, sodass die Größe des finalen Posendiffe- 


renzenausgleichsproblems ebenfalls nach oben begrenzt ist. 


Da aus jedem lokalen Optimierungsfenster nur Posendifferenzen gespeichert 
und weiterverwendet werden, wird eine unabhängige parallele Berechnung 
der Fenster durchgeführt. Die Berechnung der aufwendigsten Schritte des Kar- 
tierungsprozesses wird durch diese Parallelisierung effizient an die verfügba- 
ren Hardwareressourcen angepasst. 


6.2.1 Gleitendener Bündelblockausgleich 


Der gleitende Bündelblockausgleich im Rahmen der Sequenzaufbereitung ge- 
mäß Abschnitt 6.1.1 dient zur Verbesserung der vorab durch Odometrie ge- 
schätzten Sequenztrajektorie Ts,,,. Für den gleitenden Bündelblockausgleich 
werden zunächst Schlüsselposen (engl. key-frames) durch Unterabtastung der 
Trajektorienposen bestimmt. Dabei werden Posen, die zu nah beeinander lie- 
gen, entfernt, wodurch sich ein minimaler Positionsunterschied zwischen zwei 
aufeinanderfolgenden Posen ergibt. Zusätzlich darf die Rotation um die Fahr- 
zeughochachse nicht zu groß sein, da sich sonst die Szene in den Bildern für 
eine robuste Merkmalsassoziation zu sehr verändert. Im Rahmen der Karten- 
generierung wird durch die Schlüsselposenauswahl ein minimaler Positions- 
unterschied von 0.2m und ein maximaler Winkel von 2° zwischen zwei auf- 
einanderfolgenden Posen erzielt. Diese Werte haben in Experimenten und in 
der Anwendung zufriedenstellende Ergebnisse erzielt. Auf diese Weise wer- 
den die Posen in Haltephasen ignoriert, eine ausreichende Parallaxe für die 
Triangulation 
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Abbildung 6.6: Links: Typische Optimierungszeiten des Bündelblockausgleichsproblems für ver- 
schiedene Fensterlängen (in Fahrzeugposen). Rechts: Exemplarische Verteilung der Korrespon- 
denzen über ihre Korrespondenzlänge (Anzahl verschiedener Fahrzeugposen). Beide Auswertun- 
gen stellen gemittelte Werte über mehrere Datenerhebungen mit unterschiedlichen Datensätzen 
dar. 


sichergestellt und die Menge der zu verarbeitenden Daten ohne signifikanten 
Informationsverlust reduziert. 


Fensterung 


Die Länge des gleitenden Optimierungsfensters ist definiert durch die Anzahl 
Nwindow Konsekutiver Schlüsselposen im Optimierungsfenster. Das Optimie- 
rungsfenster wird um Nyindow — Noverlap Fahrzeugposen weitergeschoben. Die 
resultierende Uberlappung verhindert, dass Posen an den Enden des jeweili- 
gen Optimierungsfensters aufgrund abgeschnittener Merkmalskorresponden- 
zen schlecht geschätzt werden. Eine größere Fensterlänge kann dabei zu ei- 
ner höheren Genauigkeit führen, geht jedoch mit einer größeren Rechen- und 
Speicherkomplexität pro Fenster einher. Bei kleinerer Fensterlänge steigt auf- 
grund der Fensterüberlappung ebenfalls der Aufwand, da sich insgesamt mehr 
überlappende Bereiche ergeben. Der linke Graph in Abbildung 6.6 zeigt ex- 
emplarisch den Zusammenhang zwischen der Fensterlänge und der benötigten 
Rechenzeit zur Lösung des Bündelblockausgleichsproblems mit einem durch- 
schnittlichen Desktop-Computer (Intel-i7, 4 Cores, 8GB RAM). Die Fenster- 
länge ist proportional (mit großer Proportionalitätskonstante K > 1000) zur 
Anzahl involvierter Landmarkenparameter und Residuen. Wie in Abschnitt 
5.1.2 beschrieben, beeinflusst die Dimension der Jacobi-Matrix die Rechen- 
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Abbildung 6.7: Schatzung einer Trajektorie mit Ringschluss durch einen direkten gefensterten 
Biindelblockausgleich (Links) und den zweischrittigen Biindelblockausgleich (Rechts). Beide 
Resultate zeigen eine Schätzung ohne explizite Ringschlussoptimierung. Die Verbesserung der 
Rotationsschätzung durch den zweischrittigen Bündelblockausgleich ist deutlich sichtbar. 


komplexität des Bündelblockausgleichproblems wesentlich. Da sich die Di- 
mension der Jacobi-Matrix aus dem Produkt der Anzahl der Messungen und 
der Anzahl der Parameter des Ausgleichsproblems ergibt, zeigt sich ein qua- 
dratischer Anstieg der Rechenzeit. 


In Experimenten hat sich ergeben, dass Fensterlängen von nyindow > 50 Posen 
zu keiner nennenswerten Verbesserung der Trajektorienschätzung führen. Das 
lässt sich anhand der Verteilung der Längen der Merkmalskorrespondenzen 
Oseq erklären. Abbildung 6.6 (Rechts) stellt die Verteilung der Korrespon- 
denzlängen von konsekutiven Merkmalskorrespondenzen dar. Zur besseren 
Darstellung sind nur Korrespondenzenlängen > 15 dargestellt. Der überwie- 
gende Anteil der Korrespondenzen ist dabei deutlich kleiner als die Ausdeh- 
nung des Optimierungsfensters, sodass nur ein geringer Informationsanteil 
durch die Fensterung verloren geht. Durch die Optimierungsfensterüberlap- 
pung wird dieser Informationsverlust zusätzlich reduziert. Eine Überlappung 
VON Noyerlap > 30 Fahrzeugposen hat ebenfalls keine nennenswerte Verbesse- 
rung der Gesamtschätzung erbracht. 


Separate Rotationsschätzung 


In Übereinstimmung mit aktuellen Arbeiten aus dem Bereich der SVO [77], 
[78] hat sich gezeigt, dass eine zweischrittige Lösung des gleitenden Bündel- 
blockausgleichproblems von Vorteil ist. Zunächst wird ein Bündelblockaus- 
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Abbildung 6.8: Verbesserung der initialen SVO-Odometrieschätzung [79] (Grün) durch den 
zweischrittigen Biindelblockausgleich (Blau) ohne Ringschlussoptimierung auf verschiedenen 
KITTI-Odometrie-Sequenzen. Zum Vergleich ist die Grundwahrheit in rot dargestellt. 


gleich mit Korrespondenzen aus einer einzelnen Kamera durchgeführt, wobei 
die Translationsparameter der Fahrzeugposen aus der Odometrieschätzung fi- 
xiert werden und nur der Rotationsanteil der Fahrzeugposen und die Land- 
marken geschätzt werden. Im zweiten Schritt wird ein gemeinsamer Bün- 
delblockausgleich mit den Merkmalskorrespondenzen aus allen Kameras des 
MKS durchgeführt, wobei die Rotationsparameter der Posen festgehalten wer- 
den. Dies führt zu einer signifikanten Verbesserung der Rotationsschätzung. In 
Einklang mit [77] wird angenommen, dass sich die Verbesserung dadurch er- 
klären lässt, dass der Fehler in der extrinsischen Kamerakalibrierung einen 
signifikanten Einfluss auf die Rotationsschätzung hat. Durch die monosko- 
pische Rotationsschätzung wird diese Fehlerquelle umgangen. Die Schätzung 
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der Translation ist gemäß den durchgeführten Experimenten weniger empfind- 
lich gegenüber dem Fehler der extrinsischen Kamerakalibrierung. Abbildung 
6.7 zeigt unterschiedliche Schätzungen einer Ringschlussfahrt. Links darge- 
stellt ist die Schätzung durch einen direkten Bündelblockausgleich und rechts 
die Schätzung durch den zweischrittigen Bündelblockausgleich. Bei beiden 
Schätzungen wurden die gleichen Merkmalskorrespondenzen als Messung- 
en und die gleiche Initialisierung der Trajektorien und Landmarken verwen- 
det. Es ist ersichtlich, dass der Endpunkt der Trajektorienschätzung durch den 
zweischrittigen Bündelblockausgleich näher und qualitativ richtig am Start- 
punkt der Trajektorie liegt. 


Diese Ergebnisse haben sich mit unterschiedlichen Versuchsträgern in unter- 
schiedlichen Regionen sowie auf KITTI-Odometrie Sequenzen reproduzierbar 
bestätigt. Abbildung 6.8 zeigt die Verbesserung der VISO2 SVO-Schätzung 
[79] durch den zweischrittigen Bündelblockausgleich exemplarisch auf unter- 
schiedlichen KITTI-Sequenzen. Die Experimente zeigen, dass der gefensterte 
Bündelblockausgleich auch eine unpräzise und verzerrte Initialisierungsschät- 
zung der gefahrenen Trajektorien signifikant verbessert. 


Unterabtastung der Landmarken 


Eine zusätzliche Verringerung der Laufzeit und Verbesserung der Parameter- 
schätzung ergibt sich durch Auswahl einer örtlich gleichverteilten Teilmen- 
ge der zur Verfügung stehenden Landmarken und Merkmalskorrespondenzen 
innerhalb des Optimierungsfensters [73]. Dazu wird eine dünnbesetzte 3D- 
Rasterkarte definiert, in welche die Landmarken einsortiert werden. Pro Zelle 
wird die Landmarke beibehalten, die am nächsten zum Zentrum der Zelle liegt. 
Durch diese räumliche Unterabtastung fallen sowohl nahe als auch entfernte 
Landmarken ungefähr gleich ins Gewicht. Auf diese Weise wird verhindert, 
dass weder der Positionsanteil noch der Rotationsanteil der Fahrzeugposen 
den Gradientenabstieg dominiert. Des Weiteren reduziert sich die Gesamtan- 
zahl der Landmarken und Residuen und somit die Problemgröße deutlich. 


6.2.2 Assoziationstopologie 


Die fortlaufende Integration weiterer Aufnahmesequenzen in die bestehende 
Karte führt zu einer stetig wachsenden Anzahl möglicher Kombinationen zur 
Merkmalsassoziation. Abbildung 6.9 veranschaulicht diesen Zusammenhang. 
Dargestellt sind die Trajektorien von mehreren gemeinsam kartierten Aufnah- 
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Abbildung 6.9: Trajektorien von sieben kartierten Aufnahmesequenzen an einer Kreuzung. Jede 
Trajektorie ist in einer anderen Farbe dargestellt. Für jedes Kamerabild, das zu Fahrzeugpose Pj; 
korrespondiert, lassen sich viele geeignete Paarungen von Bildern aus anderen Befahrungen zur 
Merkmalsassoziation finden. Die hervorgehobenen Kanten zeigen eine exemplarische Auswahl 
möglicher Assoziationskombinationen. 


mesequenzen, wobei jeder Punkt eine Fahrzeugpose darstellt, zu der i. A. meh- 
rere aufgezeichnete Kamerabilder existieren. Da viele andere Fahrzeugposen 
in der unmittelbaren Nähe von P; liegen, lassen sich dementsprechend vie- 
le Bildpaare finden, zwischen denen Bildmerkmale assoziiert werden können. 
Die Anzahl der möglichen Paarungen wächst dabei mit jeder neuen Aufnah- 
mesequenz, die das gleiche Gebiet passiert. Daher wird nur eine Teilmenge al- 
ler möglichen Paarungen ausgewählt, sodass die Assoziationskomplexität stets 
unabhängig von der Anzahl der Aufnahmesequenzen ist. Dabei wird zwischen 
den folgenden drei Varianten unterschieden: 


1. Der erste Fall ist die Paarung von Bildern zwischen konsekutiven Posen 
P;-ı und P; aus der gleichen Befahrung. Aus kombinatorischer Sicht 
ist dieser Fall unkritisch, da die Assoziationskomplexität nur von der 
Anzahl verwendeter Kameras und der Länge der Aufnahmesequenz ab- 
hängig ist. 
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2. Im Falle der Paarung von Bildern zwischen verschiedenen Aufnahme- 
sequenzen wird sowohl die Anzahl der Kombinationen mit anderen Se- 
quenzen als auch die Anzahl der nächsten Nachbarn pro Sequenz be- 
grenzt. In Abbildung 6.9 ist exemplarisch die Paarung mit zwei der ins- 
gesamt sechs anderen Sequenzen und jeweils einer Nächste-Nachbar- 
Pose pro Sequenz dargestellt Op: Pm}, {Pj,Pn}). Es werden dabei vor- 
rangig die kartierten Posen und Bilder aus den aktuellsten in diesem 
Gebiet vorkommenden Aufnahmesequenzen gepaart. 


3. Den letzten Fall stellen Ringschlüsse innerhalb der gleichen Befahrung 
dar. Im Rahmen der Kartengenerierung wird über einen Parameter ei- 
ne minimale Anzahl konsekutiver Fahrzeugposen vorgegeben, welche 
zwischen zwei Ringschlussposen liegen müssen, damit ein Ringschluss 
akzeptiert wird. So können Mikroringschlüsse zugelassen oder verhin- 
dert werden. Bei den durchgeführten Experimenten hat sich jedoch ge- 
zeigt, dass Mikroringschlüsse zu keiner nennenswerten Verbesserung 
der Parameterschätzung führen. Größere Makroringschlüsse steigern 
hingegen deutlich die globale Konsistenz der Trajektorienschätzung. 
Daher werden die Bilder zur Pose P; mit den Bildern der nächsten 
Ringschlusspose P,s jedes Ringschlusses gepaart. 


6.2.3 Lokaler Clusterausgleich 


In Abschnitt 6.2.1 wurde gezeigt, dass die Schätzung der Trajektorie Ts, , 
durch den gleitenden Bündelblockausgleich eine hohe Genauigkeit erzielt. 
Diese Trajektorienschätzung wird zusätzlich mit den in Abschnitt 5.3 be- 
schrieben Modellannahmen validiert. Daher wird angenommen, dass ein ge- 
meinsamer Bündelblockausgleich von Trajektorienstücken aus unterschied- 
lichen Aufnahmesequenzen keine signifikante Verbesserung der Posen inner- 
halb jedes einzelnen Trajektorienabschnitts erzielt. Aufgrund dessen verbleibt 
lediglich die Anpassung der Trajektoriensegmente zueinander, was durch ei- 
nen paarweisen Clusterausgleich gemäß Abschnitt 5.1.2 mit deutlich verrin- 
gerten Berechnungsaufwand im Vergleich zum Bündelblockausgleich mög- 
lich ist. 


Um die getroffenen Annahmen empirisch zu untermauern, wurden Experi- 
mente durchgeführt, bei denen der Clusterausgleich mit einem Bündelblock- 
ausgleich verglichen wurde. Dazu wurden überlappende Trajektorienabschnit- 
te aus mehreren, unterschiedlichen Aufnahmesequenzen sowie Trajektorien- 
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Abbildung 6.10: Vergleich des Berechnungsaufwands des Biindelblockausgleichs und des Clus- 
terausgleichs. Links: Verteilung der Optimierungszeiten von Biindelblockausgleich (Rot) und 
Clusterausgleich (Blau). Rechts: Verteilung der Anzahl involvierter Landmarken von Biindel- 
blockausgleich (Rot) und Clusterausgleich (Blau). 


abschnitte aus der gleichen Sequenz in Ringschlussbereichen zueinander op- 
timiert. Das Experiment wurde in verschiedenen Umgebungen, wie beispiels- 
weise Häuserschluchten oder wäldlichen Regionen, wiederholt. Die gefahrene 
Distanz pro Cluster beträgt im Mittel ~ 12m und es werden, je nach Konfigu- 
ration und Posendichte, zwischen 80 und 300 Kamerabilder verwendet. Die 
gleichen Paarungen wurden zum Vergleich durch Bündelblockausgleichspro- 
bleme optimiert. Abbildung 6.10 zeigt Resultate dieses Experiments. Links 
ist die Verteilung der Optimierungszeiten und rechts die Verteilung der An- 
zahl optimierter Landmarken dargestellt. Die Verteilungen zeigen eine klare 
Abhängigkeit zwischen der Landmarkenanzahl und der benötigten Optimie- 
rungszeit. Durch die verringerte Landmarkenanzahl hat die Clusteroptimie- 
rung einen geringeren Speicherbedarf, was insbesondere vorteilhaft für die 
Paralellisierung ist, da mehr Cluster parallel gelöst werden können. Des Wei- 
teren zeigt sich, dass der Clusterausgleich die mittlere Laufzeit mehr als hal- 
biert. 


Zum Vergleich der Schätzergebnisse des Bündelblockausgleichs und des Clus- 
terausgleichs wurden beide Schätzungen in ein gemeinsames Koordinatensys- 
tem transformiert und für korrespondierende Posen die absolute Posendif- 
ferenz gebildet. Abbildung 6.11 zeigt links die Verteilung des Rotationsun- 


71 


6 Kartengenerierung 


0.00 0.05 0.10 0.15 0.00 0.05 0.10 0.15 
Rotationsunterschied [ °] Positionsunterschied [m] 


Abbildung 6.11: Vergleich der Schätzergebnisse des Bündelblockausgleichs und des Clusteraus- 
gleichs. Links: Verteilung des absoluten Rotationsunterschieds der Posenschätzungen. Rechts: 
Verteilung des absoluten Positionsunterschieds. 


terschieds und rechts die Verteilung des Positionsunterschieds der geschätz- 
ten Fahrzeugposen. Insgesamt umfasst die Verteilung die Unterschiede von 
~ 23Tsd optimierten Posen aus allen gelösten Ausgleichsproblemen. Die Ver- 
teilungen zeigen, dass der Unterschied der Schätzungen des Clusterausgleichs 
zum Bündelblockausgleich in einer vernachlässigbaren Größenordnung ist 
und die signifikante Reduktion der Laufzeit die approximative Schätzung 
durch den Clusterausgleich rechtfertigt. Der geringe Unterschied der beiden 
Schätzungen zeigt des Weiteren, dass die zuvor berechnete separate Trajek- 
torienschätzung durch das gleitende Bündelblockausgleichsfenster bereits ei- 
ne hohe Schätzgüte erzielt, da der gemeinsame Bündelblockausgleich beider 
Cluster keine wesentliche Verbesserung gegenüber dem Clusterausgleich er- 
zielt. 


6.2.4 Robuste Kartenposenschätzung 


Im letzten Schritt der Kartengenerierung werden die Posen der neuen Auf- 
nahmesequenz S,„+1 durch Lösen eines Posendifferenzenausgleich an die be- 
stehenden Kartenposen P, angepasst. Die folgende Übersicht beschreibt die 
getroffenen Maßnahmen für eine möglichst robuste Kartenposenschätzung 
und zur Validierung der resultierenden Kartenposen P,+1: 
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e Wahl der Gewichtungsmatrizen Qp; , 

Empirische Untersuchungen und die praktische Anwendung haben ge- 
zeigt, dass eine heuristische Wahl der Gewichtungsmatritzen Qp, in 
der überwiegenden Mehrzahl der Fälle eine akkurate und konsistente 
Posenschätzung erzielt. Um zu vermeiden, dass der Translationsfehler 
den Rotationsfehler unter den gegebenen Rahmenbedingungen domi- 
niert, werden Diagonalmatrizen verwendet, bei denen die Rotations- 
komponenten mit Faktor 10 gegenüber den Translationskomponenten 
gewichtet sind. 


Ausreißerbehandlung 

Zur Ausreißerbehandlung werden alle Ringschlussposendifferenzen und 
Posendifferenzen zwischen Posen verschiedener Befahrungen als unsi- 
cher angenommen und gemäß Abschnitt 5.1.4 als deaktivierbare Resi- 
duen modelliert. Für die Posendifferenzen zwischen konsekutiven Fahr- 
zeugposen wird aufgrund des gleitenden Bündelblockausgleichs und 
der Trajektorienvalidierung durch geometrische Modelle angenommen, 
dass keine Ausreißer vorhanden sind. 


Analyse des Trajektoriendrifts 

Die an die Kartenposen angepasste Trajektorie der neuen Aufnahme- 
sequenz wird durch einen Trajektorienvergleich gemäß Abschnitt 5.3.3 
automatisch mit der Trajektorienschätzung Ts, , aus der Sequenzaufbe- 
reitung verglichen. 


Abbildung 6.12 zeigt exemplarisch identifizierte Trajektorienverzerrun- 
gen. Es zeigen sich Verkriimmungen der Trajektorie in den hervorge- 
hobenen Bereichen, die aus einem Skalenfehler in der verwendeten Ka- 
merakalibrierung zu dieser Aufnahmesequenz resultieren. Der Skalen- 
fehler konnte in diesem Beispiel anhand der zurückgelegten Distanz 
der Trajektorienschätzung, die deutlich von der zurückgelegten Dis- 
tanz der korrespondierenden GNSS-Trajektorie abweicht, nachgewie- 
sen werden. Bei der Anpassung der falsch skalierten Trajektorie an die 
bestehende Karte durch den Posendifferenzenausgleich wurde die Ska- 
leninkonsistenz durch Verkrümmungen von Trajektorienabschnitten, an 
denen sich die Trajektorie nicht mit den Kartentrajektorien überlappt, 
kompensiert. 
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Abbildung 6.12: Identifizierte Trajektorienverzerrungen durch den Trajektorienvergleich. Darge- 
stellt ist die geschätzte Trajektorie einer Aufnahmesequenz nach der Sequenzaufbereitung (Rot) 
und nach dem gemeinsamen Posendifferenzenausgleich mit zuvor kartierten Trajektorien (Blau). 
Die hervorgehobenen Bereiche zeigen unterschiedliche Kriimmungen von verschiedenen Trajek- 
torienabschnitten. 
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e Georeferenzierung 
Die Hinzunahme von GNSS-Messungen in den finalen Posendifferen- 
zenausgleich der Kartengenerierung ermöglicht zum einen eine Geo- 
referenzierung und gewährleistet zum anderen eine globale Konsistenz 
der Kartenposenschätzung. Auch wenn die GNSS-Daten häufig loka- 
le Störungen aufweisen, lässt sich durch gemeinsame Optimierung der 
Trajektorien unter Einbeziehung der GNSS-Messungen im Mittel eine 
akkurate Referenzierung erzielen. Abbildung 6.13 zeigt exemplarisch 
drei typische Fehlerklassen in den aufgezeichneten GNSS-Trajektorien. 
Solche Fehler sowie ein hohes Signalrauschen, dass exemplarisch in 
Abbildung 6.14 dargestellt ist, treten bei Befahrungen im innerstädti- 
schen Bereich aufgrund von Signalabschattung und Mehrwegeausbrei- 
tung durch Gebäude und Bäume zahlreich auf. Bei der Lösung des Po- 
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LL. 


Abbildung 6.13: Auschnitte der geschätzten Trajektorien (Blau) und korrespondierender GNSS- 
Trajektorien (Rot) aus dem seriennahen GNSS-Empfänger. Von links nach rechts sind unter- 
schiedliche Fehlerarten in den GNSS-Daten sichtbar. Links: Positionssprung. Mitte: AusreiBer- 
messungen Rechts: Fehlerhafter systematischer Positionsversatz in einem Ringschlussszenario. 
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Abbildung 6.14: Ausschnitt der Gierratensignale einer kartierten Trajektorie (Blau) und der kor- 
respondieren GNSS-Trajektorie (Rot). 


sendifferenzenausgleichs werden die GNSS-Messungen daher mit ei- 
nem Faktor von 107°? gegenüber den Posendifferenzen gewichtet, so- 
dass die gezeigten Störungen der GNSS-Signale nahezu keinen Einfluss 
auf die lokale Genauigkeit der Kartenposen haben, sondern nur zur glo- 
balen Konsistenz der Kartentrajektorien beitragen. 


6.3 Experimente 
Zur Evaluation der Kartengenerierung wird die Erstellung einer Kartenda- 


tenbank aus n = 14 Aufnahmesequenzen von Befahrungen im Umkreis von 
Karlsruhe präsentiert. Die Befahrungen wurden innerhalb eines Zeitraums 
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Abbildung 6.15: Überlagerung der geschätzten Trajektorien mit einer Luftbild-Referenz, wobei 
jede kartierte Trajektorie in einer anderen Farbe dargestellt ist. Die Detailansichten lassen sich am 
besten digital betrachten. Luftbilder: ©Microsoft/Here 


von November bis April in zeitlich unterschiedlichen Abständen durchge- 
führt. Sechs der 14 Befahrungen befinden sich, abgesehen von Spurwechseln, 
auf demselben Rundkurs und umfassen innerstädtische Bereiche, Walddurch- 
fahrten und größere Zubringerstraßen. Die anderen Befahrungen erweitern 
diesen Rundkurs um weitere Strecken. Das gesamte kartierte Gebiet ist in 
Abbildung 6.15 dargestellt. Die Aufzeichnungen umfassen verschiedene Wit- 
terungsbedingungen und wurden zu unterschiedlichen Tages- und Jahreszei- 
ten mit Sensorkonfiguration MKS-A (siehe Abschnitt 3.1) aufgezeichnet. Im 
Laufe der Experimente wurden Objektive gewechselt und die Einbaupositio- 
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nen verändert, sodass die aufgezeichneten Daten insgesamt eine breite Va- 
riation von Bildverzeichnungen umfassen. Zusätzlich zu den Bildern wurden 
GNSS-Daten von einem seriennahen GPS-Empfänger aufgezeichnet. In Sum- 
me wurden 194Tsd Bilder und 18Tsd GNSS-Messungen aufgezeichnet und 
bei der Kartengenerierung verarbeitet. 


Die kartierten Trajektorien wurden durch Hinzunahme der aufgezeichneten 
GNSS-Messungen im finalen Posendifferenzenausgleich georeferenziert. Für 
eine quantitative Evaluation der Genauigkeit und Konsistenz der geschätz- 
ten Kartentrajektorien wurde ein absoluter Vergleich der georeferenzierten 
Kartentrajektorien mit korrespondierenden Trajektorien eines hochgenauen 
GNSS-Empfängers in Betracht gezogen. Jedoch stellen die Trajektorien ei- 
nes hochgenauen GNSS-Empfängers, insbesondere bei der gemeinsamen Re- 
ferenzierung mehrerer Trajektorien der gleichen Strecke zu verschiedenen 
Tages- und Jahreszeiten, keine zuverlässige Grundwahrheit dar. Der Haupt- 
grund dafür ist, dass der systematische Fehler durch Mehrwegeausbreitung 
nicht nur von der umgebenden Struktur, sondern auch von der geometrischen 
Anordnung der Satelliten abhängt. Wird das gleiche Gebiet an verschiede- 
nen Tagen und zu verschiedenen Zeiten befahren, kann keine gleiche Anord- 
nung der Satelliten angenommen werden. Daher ergeben sich unterschiedli- 
che systematische Fehler bei den verschiedenen Befahrungen. Im Einklang 
mit anderen Arbeiten [80] wurde dies in eigenen Arbeiten empirisch nachge- 
wiesen [67]. Als Alternative zur Demonstration der globalen Konsistenz wer- 
den die Trajektorien mit georeferenzierten Luftbildern überlagert und visuell 
analysiert. Abbildung 6.15 zeigt Ausschnitte aus dieser Überlagerung, wobei 
die Trajektorien der verschiedenen Aufnahmesequenzen in unterschiedlichen 
Farben dargestellt sind. Aus den höheren Zoomstufen ist ersichtlich, dass die 
Trajektorien sich akkurat und erwartungstreu mit der Straßengeometrie in den 
Luftbildern überlagern. 


Zur Demonstration der lokalen Genauigkeit der Kartenschätzung werden ma- 
nuell annotierte Strukturen der Umgebung in die Bilder verschiedener Auf- 
nahmesequenzen projiziert. Dazu wurden markante Strukturen in jeweils zwei 
synchron aufgezeichneten Bildern der beiden nach vorne ausgerichteten Ka- 
meras von Sensorkonfiguration MKS-A pixelgenau annotiert, trianguliert und 
mit der korrespondieren Kartenpose in das Kartenkoordinatensystem trans- 
formiert. Darauf basierend wurden die Annotationen in die Bilder aus der 
gleichen Aufnahmesequenz und anderer Aufnahmesequenzen projiziert. Die 
Abbildungen 6.16, 6.17 und 6.18 zeigen exemplarisch Projektionen von un- 
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Abbildung 6.16: Projektion (Gelb) manuell annotierter, markanter Strukturen in die aufgezeich- 
neten Bilder verschiedener Aufnahmesequenzen. Die Strukturen wurden in zwei synchron aufge- 
zeichneten Bildern aus einer einzelnen Befahrung annotiert (Griin), trianguliert und auf Basis der 
geschätzten Kartenposen in die Bilder anderer Aufnahmesequenzen projiziert. 


terschiedlichen Objekten der Umwelt. In Grün dargestellt ist die Projektion 
in Bilder der gleichen Aufnahmesequenz und in Gelb die Projektion in Bilder 
aus den anderen Aufnahmesequenzen. Die dargestellten Bilder entspringen 
aus verschiedenen Kameras zu verschiedenen Tages- und Jahreszeiten und 
zeigen die Projektionen aus unterschiedlichen Perspektiven. Es ist ersicht- 
lich, dass die Projektionen unabhängig von der Beobachtungspose mit hoher 
Genauigkeit an der erwarteten Position im Bild liegen, was die lokale Genau- 
igkeit der Trajektorienreferenzierung untermauert. 
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Abbildung 6.17: Projektion von markanten Strukturen in wäldlichen Gebieten. 
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Abbildung 6.18: Projektion von markanten Strukturen in Gebieten mit wenig Umgebungsstruk- 
tur. 


Zur weiteren Demonstration der Genauigkeit wird die Punktwolke der Karten- 
landmarken dargestellt. Abbildung 6.19 zeigt verschiedene Ansichten auf die 
Punktwolke, in denen sich eine konsistente Umgebungsrepräsentation erken- 
nen lässt. Die Landmarken sind gemäß des Grauwerts des ersten zugeordneten 
Merkmals eingefärbt. Es lassen sich die präzise rekonstruierten Konturen von 
Bäumen und Hauswänden erkennen. Abbildung 6.20 zeigt weitere Ansichten 
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Abbildung 6.19: Darstellungen der Punktwolke der kartierten Landmarken aus den 14 Aufnah- 
mesequenzen. Jede Landmarke ist mit dem korrespondieren Grauwert eines ihrer zugehörigen 
Merkmale eingefärbt. 


der Punktwolke, wobei die Landmarken hier in Abhängigkeit ihrer Anzahl von 
Wiedererkennungen in verschiedenen Aufnahmesequenzen dargestellt sind. 
Grün dargestellte Landmarken wurden in vielen Befahrungen wiedererkannt, 
wohingegen eher rötlich eingefärbte Landmarken nur in wenigen Aufnahme- 
sequenzen wiedererkannt wurden. Insbesondere aus der Vogelperspektive zei- 
gen sich eindeutige Strukturen von Hausfassaden und Bäumen, die gemäß der 
Erwartung in vielen Aufnahmesequenzen wiedererkannt wurden. Zur Fahr- 
bahnmitte häufen sich hingegen viele Landmarken auf parkenden Fahrzeugen, 
die in den meisten Fällen nur in einer einzelnen Aufnahmesequenz detektiert 
wurden. Die Darstellung der Wiedererkennungshäufigkeit in Abbildung 6.20 
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Abbildung 6.20: Darstellungen der Landmarkenpunktwolke hinsichtlich der Häufigkeit der Wie- 
dererkennung der Landmarken in verschiedenen Aufnahmesequenzen. Eher rötlich dargestell- 
te Landmarken wurden nur in wenigen Befahrungen wiedererkannt. Eher grünlich dargestellte 
Landmarken wurden demhingegen häufiger wiedererkannt. 


deutet insbesondere darauf hin, dass Landmarken auf persistenten Strukturen, 
wie beispielsweise Häusern und Baumstämmen, gemäß der Erwartung beson- 
ders nutzvoll für eine zuverlässige Lokalisierung sind. 
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Zusammenfassend zeigen die qualitativen Analysen eine hohe Schätzgenauig- 
keit der Kartenposen und -landmarken. Insbesondere die Projektion von Um- 
gebungsstrukturen ist empfindlich gegenüber falsch geschätzten Winkeln und 
Positionen der Kartenposen. Die pixelgenauen Projektionen der Annotationen 
an ihren erwarteten Positionen belegen daher eindeutig die hohe lokale Kon- 
sistenz der Kartenparameter. Durch die Hinzunahme von GNSS-Messungen in 
die Optimierung wird zusätzlich eine globale Konsistenz der Kartentrajektori- 
en erzielt, auch wenn die verfügbaren GNSS-Messungen häufig fehlerbehaftet 
und stark verrauscht sind. 


83 


7 Multi-Kamera-Lokalisierung 


Dieses Kapitel befasst sich mit der in dieser Arbeit entwickelten Multi-Kamera- 
Lokalisierung. Das Ziel der Lokalisierung ist eine möglichst genaue Schät- 
zung der kartenrelativen Fahrzeugpose zum Aufnahmezeitpunkt ¢ der Bilder 
Ł,. Die zum Aufnahmezeitpunkt t geschätzte Lokalisierungspose D € SE (3) 
beschreibt die Transformation zwischen dem Fahrzeugreferenzsystem R und 
dem Ursprung der Lokalisierungskarte MŁ. Zur Lokalisierung werden aus- 
schließlich die mit dem MKS aufgezeichneten Bilder X, verwendet. Es ist 
sowohl eine Lokalisierung mit einer als auch mit mehreren Kameras möglich. 


Die Evaluationen in diesem Kapitel stellen immer die Ergebnisse der Schät- 
zung einer einzelnen Pose pro Lokalisierungschritt dar (engl. single-shot lo- 
calization). Es wird keine zeitliche Filterung durchgeführt und keine weitere 
Sensorik benötigt. Die Bestimmung einer zeitlich gefilterten Lokalisierungs- 
schätzung durch Lösen eines Ausgleichsproblems innerhalb eines gleitenden 
Fensters unter Echtzeitbedingungen wurde im Rahmen einer eigenen Arbeit 
[51] und einer studentischen Arbeit [81] unter verschiedenen Gesichtspunkten 
analysiert. Die in diesem Kapitel vorgestellten Methoden und Auswertungen 
fokussieren hingegen die Verwendung eines MKS für die Lokalisierung. 


Die Verwendung eines MKS zur Lokalisierung steigert die Genauigkeit, Ro- 
bustheit und Verfügbarkeit der Lokalisierung gegenüber der Verwendung ei- 
nes monoskopischen Kamerasystems. Das MKS stellt i. A. Bilder aus ver- 
schiedenen Blickrichtungen bereit, sodass Merkmale aus unterschiedlichen 
Orientierungen beobachtet werden. Dadurch ist es möglich, dass beispiels- 
weise Kartenmerkmale aus Bildern, die mit einer rückwärts gerichteten Ka- 
mera aufgezeichnet wurden, zu detektierten Merkmalen aus Bildern aus einer 
vorwärts gerichteten Kamera assoziiert werden. Mit diesen Korresponden- 
zen kann somit auch eine Lokalisierungspose geschätzt werden, wenn die 
kartierte Strecke in entgegengesetzter Richtung befahren wird. Dies ist ins- 
besondere bei punktförmigen Merkmalen ein großer Vorteil, da eine robuste 
Merkmalsassoziation ähnliche Beobachtungsposen erfordert. Die in diesem 
Kapitel beschriebenen Konzepte und Kartenstrukturen stellen eine kameraba- 


85 


7 Multi-Kamera-Lokalisierung 


sierte Lokalisierungsmethode dar, die diese vorteilhaften Eigenschaften eines 
MKS effizient nutzt. 


Die Lokalisierung umfasst zwei Teilsysteme. Das erste Teilsystem ist eine 
Methode zur Ortswiedererkennung und wird zur erstmaligen Bestimmung des 
ungefähren Aufenthaltsortes und der ungefähren Orientierung des Fahrzeugs 
in der Karte benötigt. Das zweite Teilsystem stellt die metrische Lokalisierung 
dar, welches eine Intialisierungspose benötigt, um damit Kartenlandmarken 
aus der lokalen Umgebung bereitzustellen. Mit den bereitgestellten Karten- 
landmarken und -merkmalen wird schließlich die hochpräzise kartenrelati- 
ve Lokalisierungspose P!” durch Lösen eines reduzierten Bündelblockaus- 
gleichsproblems geschätzt. Zunächst wird in Abschnitt 7.1 der Ablauf der 
Lokalisierung erläutert sowie ein Überblick über das Gesamtsystem gegeben. 
Im darauffolgenden Abschnitt 7.2 ist die Ortswiedererkennung beschrieben. 
Der letzte Abschnitt 7.3 befasst sich mit der metrischen Lokalisierung. 


7.1 Überblick 


Abbildung 7.1 zeigt den grundsätzlichen Ablauf der Lokalisierung. Die re- 
sultierende Lokalisierungspose P!° wird durch die metrische Lokalisierung 
geschätzt. Dafür benötigt die metrische Lokalisierung in jedem Schritt eine 
Initialisierungspose PÏ € SE(3), die den ungefähren Aufenthaltsort und die 
ungefähre Fahrzeugorientierung relativ zum Kartenursprung beschreibt. Das 
Initialisierungsmodul stellt die Initialisierungspose Pi" für die metrische Lo- 
kalisierung bereit. Für die erstmalige Initialisierung wird die Ortswiedererken- 
nung benötigt. 


Initialisierungsmodul 


Die folgenden zwei Fälle beschreiben die Funktionsweise des Initialisierungs- 
moduls, welches die beiden Teilsysteme der entwickelten Lokalisierungsme- 
thode verknüpft: 


1. Erstmalige Initialisierung 
Da vor Eintritt des Fahrzeugs in den kartierten Bereich noch keine Infor- 
mation über den aktuellen Aufenthaltsort bekannt ist, wird die Ortswie- 
dererkennung benötigt. Diese schätzt bildbasiert die Kartenpose DI € 
SE(3), die der aktuellen Fahrzeugpose am nächsten ist, wobei Bild- 
merkmale mit allen in der Karte gespeicherten Merkmalen verglichen 
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Abbildung 7.1: Zusammenspiel der Lokalisierungskomponenten. 


werden. Die geschätzte nächste Kartenpose PP" repräsentiert in diesem 
Fall den ungefähren Aufenthaltsort und wird unabhängig vom Ort des 
Eintritts in den kartierten Bereich bestimmt. In diesem Fall wird daher 
die aktuelle Schätzung PP" der Ortswiedererkennung direkt an die me- 
trische Lokalisierung weitergeleitet Pi" = PP", Nach der ersten erfolg- 
reichen Initialisierung durch die Ortswiedererkennung wird diese erst 
wieder benötigt, wenn die fortlaufende Lokalisierung unterbrochen und 
die Information über den aktuellen Aufenthaltsort verloren wurde. Das 
ist beispielsweise der Fall, wenn der kartierte Bereich verlassen und zu 
einem späteren Zeitpunkt erneut betreten wird. 


. Fortlaufende Initialisierung 

Bei der fortlaufenden Initialisierung ist angenommen, dass eine Historie 
an vorhergegangenen Lokalisierungsposenschätzungen pP. E SE 
durch die metrische Lokalisierung existiert. Basierend auf diesem Wis- 
sen wird die Initialisierungspose DC prädiziert. Die fortlaufende Initia- 
lisierung hat stets Priorität vor der Initialisierung durch die Ortswieder- 
erkennung, da der ungefähre Aufenthaltsort in der Karte bereits bekannt 
ist und die Initialisierungspose robust und präzise durch die Prädiktion 
auf Basis der Lokalisierungsposenhistorie bestimmt werden kann. 


Zur Prädiktion von P!° wird eine Approximation p*™°°"(t) der Lokali- 
sierungsposenhistorie P!%,,... Ke gemäß Abschnitt 5.3.2 bestimmt. 
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Abbildung 7.2: Fortlaufende Initialisierung durch polynomielle Approximation der Lokalisie- 
rungsposenhistorie. 


Die Initialisierungspose pe kann darauf basierend durch Extrapolation 
E—!(psmooth(¢)) der polynomiellen Approximation p"°°lh(7) bestimmt 
werden. 


Alternativ kann eine externe Odometrie verwendet werden, die eine 
Posendifferenz D. t —N < to < t bereitstellt, welche die Fahrzeug- 
bewegung zwischen dem Zeitschritt 9 und dem aktuellen Zeitschritt 
t beschreibt. Die Initialisierungspose Pi" kann so durch Komposition 
Pirit — &=1(psmooth(7,))-D,, der geglätteten Lokalisierungstrajektorie 
und der Odometrieschätzung D,, bestimmt werden. Dadurch wird die 
Extrapolation der polynomiellen Approximation vermieden und die In- 
formation über die Bewegung des Fahrzeugs verwendet, wodurch in der 
Regel eine genauere Initialisierung erzielt werden kann. Abbildung 7.2 
stellt dies schematisch dar. 


Eine Lokalisierungsposenhistorie von ~ 0.5s Länge bei 10Hz Aufnah- 
mefrequenz und einem Polynomgrad von 1 hat in der Anwendung gute 
Ergebnisse erzielt. 


Prozessstaffelung 


Um eine möglichst hohe Lokalisierungfrequenz zu erzielen, werden, wie 
in Abbildung 7.3 dargestellt, konsekutive Prozessschritte zeitlich gestaffelt 
durchgeführt (engl. pipelining). In der praktischen Anwendung hat sich ge- 
zeigt, dass dadurch die Lokalisierungsfrequenz bei Verwendung von 4 Kame- 
ras von 8 Hz auf bis zu 13 Hz gesteigert werden kann. Eine höhere Lokali- 
sierungfrequenz begünstigt u. a. die Schätzung der Initialisierungspose Pi" 
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Abbildung 7.3: Prozesstaffelung der Lokalisierung. 


durch die fortlaufende Initialisierung, da die Stiitzstellen der polynomiellen 
Approximation zeitlich dichter beeinander liegen. 


Struktur der Lokalisierungskarte 


Die Lokalisierungskarte MŁ stellt, wie in Abbildung 7.1 dargestellt, Karten- 
merkmale für die metrische Lokalisierung und für die Ortswiedererkennung 
bereit. Da die beiden Lokalisierungsmodule methodisch unterschiedlich sind 
und verschiedene Merkmalstypen benötigen, umfasst die Lokalisierungskarte 
ME zwei deckungsgleiche Kartenschichten: 


1. Die erste Kartenschicht stellt eine Selektion holistischer Kartenmerk- 
male und ihre korrespondierenden Kartenkameraposen aus der Kar- 
tendatenbank AM, für die Ortswiedererkennung bereit. Ein holistisches 
Merkmal ist durch einen einzelnen Deskriptorvektor repräsentiert, der 
ein ganzes Bild beschreibt. Die Kartendatenbank A, stellt daher für 
jedes Bild, das zur Generierung der Karte verwendet wurde, ein holisti- 
sches Kartenmerkmal bereit. 


2. Die zweite Kartenschicht stellt eine Teilmenge der Landmarken Ln und 
ihre korrespondieren Merkmale aus der Kartendatenbank M, für die me- 
trische Lokalisierung bereit. 


Die Verwendung und Struktur der jeweiligen Kartenschicht wird in den fol- 
genden Abschnitten 7.2 und 7.3 detailiert beschrieben. Für beide Karten- 
schichten wurde vorab eine Selektion durchgeführt, die eine Teilmenge der 
kartierten Merkmale und Landmarken aus A, auswählt und diese in die je- 
weilige Schicht der Lokalisierungskarte MŁ überführt. Die Merkmalsselektion 
wird im folgenden Kapitel 8 detailiert erläutert. 
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7.2 Ortswiedererkennung 


Die Ortswiedererkennung schätzt die nächste zum aktuellen Aufenthaltsort 
des Fahrzeugs liegende Kartenpose durch Vergleich von holistischen Karten- 
merkmalen und holistischen Merkmalen, die aus den aktuellen Kamerabildern 
I, berechnet werden. Hierfür werden holistische DIRD-Merkmale h; € R” 
verwendet [82], die eine robuste bildbasierte Ortswiedererkennung auch bei 
starken Beleuchtungsunterschieden ermöglichen. 


7.2.1 Ablauf 


Die Ortswiedererkennungskartenschicht speichert holistische Kartenmerkma- 
le H? = N hi}, die zu den Kartenkameraposen Cl = ee 
aus der Kartendatenbank M, korrespondieren. Die Kartenstruktur ist ein M- 
dimensionaler k-d-Suchbaum, in dem die Kartenmerkmale Hl: abgelegt sind. 
Zur Bestimmung des wahrscheinlichsten Aufenthaltsortes werden die folgen- 
den drei Schritte durchgeführt: 


1. Merkmalsassoziation 

Für jedes Bild J, € X; wird ein holistisches Merkmal h; berechnet und 
mit diesem eine Radiussuche im k-d-Suchbaum mit Radius fmax durch- 
geführt. Auf diese Weise werden die n Kartenmerkmale hk E € 
Hl gefunden, deren Assoziationsdistanz d (hy, hé ) zu hy kleiner als der 
Schwellwert fmax ist. Als Distanzfunktion d(hy,h*) = (bh — hř||ı wird 
die Z1-Norm der Deskriptordifferenz verwendet [82]. Ist die Anzahl n 
von assoziierten Kartenmerkmalen größer als eine Maximalanzahl nmax, 
werden nur die nmax Kartenmerkmale mit den kleinsten Assoziations- 
distanzen in den nachfolgenden Schritten weiter verwendet. Pro Loka- 
lisierungschritt werden daher o. B. d. A. m, 0 < m < D. max Kar- 
tenmerkmale zu den Merkmalen der zum Zeitpunkt r aufgezeichneten 
Bilder Ł; assoziiert. 


2. Bestimmung von Aufenthaltsortshypothesen 
Jedes Kartenmerkmal hý korrespondiert zu einer Kartenkamerapose 
Cc € C} und jedes aktuell detektierte Merkmal hy zu einer am Fahr- 
zeug montierten Kamera Kr. Wurde hy zu hi assoziiert, stellt ci eine 
Aufenthaltsortshypothese der Kamera Ky in der Karte dar. Damit kann 
auf die Kartenpose Pi = ck . K,' € P, unter Verwendung der extrin- 
sischen Kamerakalibrierung K; der Kamera Kg geschlossen werden, 


90 


7.2 Ortswiedererkennung 


Abbildung 7.4: Bestimmung von Aufenthaltsortshypothesen im Rahmen der Ortswiedererken- 
nung. Für das Bild J; wurden drei korrekte Hypothesen (Grüne Kanten) und fiir das Bild J, eine 
richtige und eine Ausreißerhypothese (Rote Kante) durch die Radiussuche im k-d-Suchbaum be- 
stimmt. Der gelbe Punkt stellt den wahren Aufenthaltsort des Fahrzeugs zum Aufnahmezeitpunkt 
dar. 


wobei P, die kartierten Posen aus der Kartendatenbank M„ bezeichnet. 
Die Kartenpose Pi stellt somit die zum Merkmal hi korrespondieren- 
de Aufenthaltsortshypothese des Fahrzeugs dar und ist im Idealfall die 
nächste zum wahren Aufenthaltsort des Fahrzeugs liegende Kartenpose. 
Da o. B. d. A. m Kartenmerkmale assoziiert wurden, ergeben sich auf 
diese Weise m Aufenthaltsortshypothesen P% ,--. Di, des Fahrzeugs. 
Abbildung 7.4 stellt die Bestimmung der Aufenthaltsortshypothesen 
schematisch dar. 


3. Verfolgung von Aufenthaltsortshypothesen 

In der praktischen Anwendung stellt in der Regel nur ein Teil der m ge- 

schätzten Aufenthaltsortshypothesen pk ap? P. eine richtige Hypothe- 
se dar, wie in Abbildung 7.4 exemplarisch dargestellt ist. Das liegt zum 
einen daran, dass der verwendete Deskriptor empfindlich gegenüber 
Veränderungen in der Perspektive ist und sich das Fahrzeug i. A. nicht 
exakt auf einer der Kartenposen befindet. Zum anderen besteht eine 
hohe Wahrscheinlichkeit, dass durch periodische Umgebungsstrukturen 
oder durch ähnliche Szenen an verschiedenen Orten eine falsche Auf- 
enthaltsortshypothese bestimmt wird. Daher werden im zweiten Schritt 
Hypothesenspuren verwaltet, durch die die Aufenthaltsortshypothesen 
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tiber konsekutive Zeitschritte verfolgt werden. Eine Hypothesenspur 
S = {P,_wn,...,P;—y}) ist dabei eine Sequenz von konsekutiven Auf- 
enthaltsortshypothesen, wobei t—N,...,t—J < t die Bestimmungszeit- 
punkte der einzelnen Hypothesen sind. Der Zeitpunkt t — J, der jüngsten 
in der Spur A vorkommenden Hypothese P,_,, stellt das Alter der Spur 
dar. Die Anzahl |S| der Spurhypothesen der Spur S wird im Folgenden 
als Länge der Hypothesenspur bezeichnet. 


Zur Erzeugung der Hypothesenspuren werden die m bestimmten Auf- 
enthaltsortshypothesen Be ,...,P“ zu den bereits bestehenden Spuren 
assoziiert. Dafür wird eine aktuelle Hypothese pt mit der jüngsten Hy- 
pothese P,_; einer bestehenden Spur S verglichen. Sind die Winkel- 
und Positionsdifferenz der Posendifferenz De Ji P| y pk kleiner als 
vorab definierte Schwellwerte, unterstützt die Hypothese P;_; die Spur 
S. In diesem Fall wird die Hypothese Pe zu dieser Spur hinzugefiigt. 
Dadurch verlängert sich zum einen die Spur S und zum anderen ver- 
ringert sich ihr Alter. Unterstützt P,;_; keine der bestehenden Spuren, 
wird eine neue Spur initialisiert. Spuren, die zu alt sind, werden aus der 


Verfolgung entfernt. 


Längere Spuren von korrekt assoziierten Merkmalen repräsentieren so- 
mit eine Sequenz von Fahrzeugaufenthaltshypothesen, die näherungs- 
weise eine valide Fahrzeugbewegung beschreiben. Ist dabei eine der 
verwalteten Spuren im Vergleich zur Mehrheit aller Spuren deutlich 
länger, besteht daher eine hohe Wahrscheinlichkeit, dass die jüngste 
Hypothese dieser Spur den aktuellen ungefähren Aufenthaltsort des 
Fahrzeugs in der Karte darstellt. Die Entstehung von Spuren mit ver- 
gleichbarer Länge, die sich aus einer validen Folge von Fehlassoziatio- 
nen zusammensetzen, ist demhingegen eher unwahrscheinlich. 


Die beschriebene Methode zur Ortswiedererkennung durch zeitliche Verfol- 
gung von Aufenthaltsortshypothesen hat insbesondere für MKSe mehrere Vor- 
teile: 


e Die Methode und Kartenstruktur abstrahiert von der Anzahl der verwen- 
deten Kameras im MKS und von der Anzahl der Aufnahmesequenzen, 
aus denen die Karte besteht. 


e Je mehr Bilder aus &, verwendet werden, desto robuster ist die Hypo- 
thesenverfolgung gegenüber Ausreißern und desto schneller entwickeln 
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sich längere richtige Hypothesenspuren. Die Wahrscheinlichkeit, dass 
sich lange falsche Hypothesenspuren ergeben, verringert sich durch Ver- 
wendung mehrerer Kameras, da es unwahrscheinlich ist, dass die As- 
soziation der Merkmale aller Bilder aus E, in Übereinstimmung eine 
gleiche, jedoch falsche Fahrzeugaufenthaltshypothese ergeben. 


Da die Aufenthaltsortshypothesen der Kameras mittels der gegebenen 
Kalibrierung auf eine Aufenthaltsortshypothese des Fahrzeugs abgebil- 
det werden, ergibt sich eine implizite Orientierungshypothese des Fahr- 
zeugs. Wird beispielsweise das Merkmal h; einer rückwärts ausgerich- 
teten Kamera mit einem Kartenmerkmal assoziiert, welches aus dem 
Bild einer in Kartenrichtung vorwärts ausgerichteten Kamera generiert 
wurde, ergibt sich durch die Transformation ins Fahrzeugreferenzsys- 
tem eine Aufenthaltsortshypothese mit entgegengesetzter Orientierung 
relativ zur korrespondierenden Kartenpose. 


7.2.2 Experimente 


Dieser Abschnitt beschreibt die durchgeführten Experimente zur Analyse der 
Ortswiedererkennung, die mit der Kamerakonfiguration MKS-A (siehe Ab- 
schnitt 3.1) durchgeführt wurden. Die folgende Auflistung beschreibt die Pa- 
rameterisierung der Ortswiedererkennung bei den durchgeführten Experimen- 
ten: 


e Es werden pro Kamerbild maximal nmax = 3 Aufenthaltsortshypothesen 
assoziiert. 


Für die Assoziation von Aufenthaltsortshypothesen zu den bestehenden 
Spuren wird eine maximale Positionsdistanz von 3m und eine maxi- 
male Winkeldifferenz von 10° verwendet. Durch diese Wahl toleriert 
die Methode Lokalisierungssprünge von bis zu 3m. Es wird daher auch 
dann eine Spur weiter verfolgt, wenn nicht die bestmögliche Kartenpo- 
se assoziiert wurde, sondern eine in der unmittelbaren Umgebung. Der 
Toleranzbereich ist dabei so gewählt, dass die metrische Lokalisierung 
auf Basis dieser Initialisierung zuverlässig eine Lokalisierungspose be- 
rechnen kann. 


Hypothesenspuren, die älter als 10 Zeitschritte sind, werden verworfen. 
Die Hypothesenverfolgung toleriert auf diese Weise kurze zeitliche Lü- 
cken in den Spuren. 
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Als Vergleichsverfahren wurde die topologische Lokalisierung [82] von La- 
tegahn et al. verwendet. Das Verfahren verwendet den gleichen Deskriptor 
und führt eine Verfolgung von Bildhypothesen mittels dynamischer Program- 
mierung durch. Es unterstiitzt jedoch lediglich die Verwendung einer einzel- 
nen Kamera. Bei dem Vergleichsverfahren wird ebenfalls tiber einen einstell- 
baren Parameter entschieden, ob eine Schätzung des Aufenthaltsortes akzep- 
tiert wird. Dieser wird in den Experimenten stets korrespondierend zur Länge 
|S™*| der längsten Hypothesenspur S™* gewählt. 


In den Experimenten werden die folgenden drei Konfigurationen verglichen: 


1. Hypothesenverfolgung mit zwei Kameras (HV-2) 
Die erste Versuchsreihe zeigt die Ortswiedererkennung mit dem 
vorgestellten Verfahren durch Aufenthaltsortshypothesenverfolgung 
mit einer vorwärts und einer rückwärts gerichteten Kamera. 


2. Hypothesenverfolgung mit einer Kamera (HV-1) 
Im zweiten Fall wird die vorgestellte Methode mit einer einzelnen 
Kamera evaluiert. 


3. Bildverfolgung mit dynamischer Programmierung (DYNP) 
Die dritte Versuchsreihe stellt zum Vergleich die Ergebnisse des 
Ansatzes von [82] dar. 


Bei den Experimenten hat sich gezeigt, dass die Verwendung der seitlich aus- 
gerichteten Kameras keine Verbesserungen erbracht und in manchen Fällen 
zu einer Verschlechterung der Ergebnisse geführt haben. Der Grund dafür ist, 
dass die Bilder der seitlichen Kameras häufig zu einem großen Teil parkende, 
entgegenkommende oder parallel fahrende Fahrzeuge abbilden. 


Grundwahrheit 


Die Evaluation der Ortswiedererkennung wird mit verschiedenen Evaluations- 
aufnahmesequenzen durchgeführt. Die Evaluationssequenzen wurden dafür 
zuvor mit der in Kapitel 6 beschriebenen Kartierungsmethode unter Hinzu- 
nahme von GNSS-Messungen an die Karte angeglichen. Alle Merkmale aus 
Bildern der Evaluationsaufnahmesequenzen wurden nach der Kartengenerie- 
rung wieder entfernt. Auf diese Weise verbleiben von den Evaluationssequen- 
zen nur die kartierten Trajektorien in der Kartendatenbank, die als Grundwahr- 
heit für die Evaluation verwendet werden. Bei der Kartengenerierung wird die 
Trajektorie einer Aufnahmesequenz zeitlich gefiltert und unter Hinzunahme 
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von GNSS-Messungen an die Kartenposen angepasst. Zusätzlich werden die 
Kartentrajektorien automatisch auf Störungen und Verzerrungen untersucht. 
Daher wird angenommen, dass die Referenzierungsgenauigkeit der Kartentra- 
jektorien ausreichend ist, um die Kartentrajektorien als Grundwahrheit für die 
Evaluation der Lokalisierung, die nur die aktuellen Bilder auswertet und keine 
zeitliche Filterung durchführt, zu verwenden. 


Evaluationsmetrik 


Zu jeder Kandidatenbildmenge X, zu einem Zeitpunkt ¢ aus einer Evaluati- 
onsaufnahmesequenz existiert eine Grundwahrheitspose DÉI. die den Aufent- 
haltsort und die Orientierung des Fahrzeugs in der Karte zum Zeitpunkt ¢ mit 
hoher Genauigkeit beschreibt. Die zu pe korrespondierende nächste Karten- 
pose PS, ist die bestmögliche Schätzung, welche die Ortswiedererkennung 
erzielen kann. Da sich zu Evaluationszwecken nicht alle Abschnitte der Eva- 
luationsaufnahmesequenzen mit der Karte überlappen, wird anhand des eukli- 
dischen Abstands zwischen pe und PH unterschieden, ob eine Ortswieder- 
erkennung möglich ist. Ist der Abstand zwischen den Posen dabei größer als 
dmax = 4m, wird angenommen, dass keine Ortswiedererkennung möglich ist. 
Es wird immer die jüngste Hypothese der aktuell längsten Hypothesenspur 
ST“ als Schätzung der Ortswiedererkennung PP" verwendet. Als Entschei- 
dungskriterium, ob eine Schätzung herausgegeben wird, wurde im Rahmen 
der Experimente |S7**| > 30 gewählt. Darauf basierend ist eine Klassifizie- 
rung einer Schätzung PP" der Ortswiedererkennung möglich: 


e Korrekte Ortswiedererkennung (TP; engl. true-positive) 

Eine Schätzung PP" ist richtig, sofern eine Ortswiedererkennung mög- 
lich ist und die geschätzte Aufenthaltsortshypothese PP" in der Nähe 
von PH liegt. Die maximale Distanz dmax zwischen IN und pe muss 
dafiir kleiner als 2m sein. Der in Gelb dargestellte Punkt in Abbildung 
7.5 (Links) stellt diesen Fall dar. Als zusätzliche Überprüfung wird mit 
dieser Schätzung die metrische Lokalisierung initialisiert. Nur wenn 
die metrische Lokalisierung erfolgreich eine Lokalisierung bestimmen 
konnte, wird die Schätzung DI als korrekt gewertet. 


Falsche Ortswiedererkennung (FP; engl. false-positive) 

Eine herausgegebene Schätzung D" wird in zwei Fällen als falsch klas- 
sifiziert. Den ersten Fall stellt der in Lila dargestellte Punkt in Abbil- 
dung 7.5 (Links) dar. Hier ist eine Ortswiedererkennung möglich, je- 
doch ist die Distanz zwischen D" und P$R größer als der Schwellwert 
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P?" (FP) 


: Př" (FP 


Abbildung 7.5: Klassifizierung der Schätzung BI der Ortswiedererkennung in den Experimen- 
ten. Die in Rot dargestellte Trajektorie stellt die Grundwahrheit der Evaluationssequenz dar und 
die in Grün dargestellte Trajektorie zeigt die nächste Kartentrajektorie. Links: Der Abstand zwi- 
schen Pe, und (eg ist kleiner als dmax, d. h. eine Ortswiedererkennung ist prinzipiell möglich. 
Rechts: Der Abstand zwischen Pe, und pe ist größer als dmax. Das kartierte Gebiet wird verlas- 
sen und es ist keine Ortswiedererkennung méglich. 


d Den zweiten Fall zeigt der in Lila dargestellte Punkt in Abbildung 
7.5 (Rechts). In diesem Fall wurde eine Schätzung herausgegeben. Es ist 
jedoch keine Ortswiedererkennung möglich, da die nächste Kartenpose 
Pe zu weit von der Evaluationstrajektorie entfernt ist. 


Fehlende Ortswiedererkennung (FN; engl. false-negative) 
Wird keine Schätzung herausgegeben, obwohl eine Ortswiedererken- 
nung möglich ist, wird dies als fehlende Schätzung gewertet. 


e Keine Ortswiedererkennung möglich (TN; engl. true-negative) 
Wenn sich das Fahrzeug in einem nicht kartierten Bereich bewegt, ist 
keine Ortswiedererkennung möglich. Wird in diesem Fall keine Schät- 
zung herausgegeben, wird dies als korrekt zurückgewiesene Schätzung 
bewertet. 


Zur Auswertung der verschiedenen Verfahren und Evaluationssequenzen wird 
die Ortswiedererkennung an 100 äquidistant ausgewählten Startpositionen 
entlang der jeweiligen Evaluationsstrecke gestartet und fortgeführt. Die in den 
folgenden Evaluationen dargestellten Kurven der TP-Rate und der FP-Rate 
[83] zeigen die entsprechende Rate nach n durchgeführten Verfolgungsschrit- 
ten. Jeder Datenpunkt ergibt sich dabei stets aus der Mittelung über die 100 
Ergebnisse für jede Startposition. 
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Msat (11 / 2017) Elaa (03/2018) _ ES aq (06 / 2018) 


Abbildung 7.6: Beispielhafte Bilder gleicher Orte aus der Kartensequenz Mstaat (Links), der Eva- 
luationssequenz Bae i (Mitte) und der Evaluationssequenz Eë (Rechts). 


Städtische Fahrten 


Für dieses Experiment werden drei Aufnahmesequenzen durch die Karlsru- 
her Oststadt betrachtet, wobei die erste Sequenz Mstaat als Karte verwendet 
wird und die anderen beiden Sequenzen El adt und Eĉ ait zur Evaluation ge- 
nutzt werden. Die Kartensequenz Mstaat wurde im November 2017, die erste 
Evaluationssequenz Bes im März und die zweite Evaluationssequenz BE 
im Juni des Folgejahres aufgezeichnet. Die Umweltbedingungen bei der Eva- 
luationssequenz El. und der Kartensequenz Mstaqt sind ähnlich, jedoch ist 
die Sicht in der Evaluationssequenz Eloi teilweise durch Regen und teilwei- 
se durch starke Sonneneinstrahlung gestört. Die Umweltbedingungen bei der 
Aufnahme der Evaluationssequenz Ee, im Juni unterscheiden sich signifi- 
kant von den Bedingungen zum Aufnahmezeitpunkt der Kartensequenz Mstadt 
aufgrund der jahreszeitbedingten Veränderung der Vegetation. Außerdem ist 
ein Teil der Strecke in der Sequenz Tex durch Baustellen belegt, sodass die 
kartierte Strecke in diesen Bereichen auf einer parallelen Umleitungsspur be- 
fahren wurde. Abbildung 7.6 zeigt Beispielbilder gleicher Orte in den ver- 
schiedenen Sequenzen. 


Die Abbildungen 7.7 und 7.8 zeigen die erzielten TP- und FP-Raten der drei 
evaluierten Konfigurationen fiir die beiden Evaluationssequenzen Elä bzw. 
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Abbildung 7.7: TP-Raten (Links) und FP-Raten (Rechts) fiir Evaluationssequenz Basie 
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Abbildung 7.8: TP-Raten (Links) und FP-Raten (Rechts) fiir Evaluationssequenz Fäi, 


Ee Es ist ersichtlich, dass die Verwendung mehrerer Kameras auf beiden 
Sequenzen deutlich schneller eine größere TP-Rate erreicht als die Vergleichs- 
verfahren, bei denen nur eine Kamera verwendet wurde. Demhingegen ist die 
FP-Rate von Konfiguration HV-2 etwas geringer als die der Vergleichsverfah- 
ren. Der Grund für die größere TP-Rate von HV-2 nach weniger Lokalisie- 
rungsschritten ist, dass im Falle von richtig assoziierten Merkmalen mehr Hy- 
pothesen pro Lokalisierungsschritt zur richtigen Spur hinzugefiigt werden und 
sich diese daher schneller verlängert. Die Konfiguration HV-1 erzielt ebenfalls 
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Mcampus (03 / 2018) (05 / 2018) E2ampus (06 / 2018) 


1 
E Campus 


Abbildung 7.9: Beispielhafte Bilder gleicher Orte aus der Kartensequenz Mcampus (Links), der 
Evaluationssequenz Bei, us (Mitte) und der Evaluationssequenz Se (Rechts). Fiir die Eva- 
luationssequenzen sind Bilder aus der rückwärts gerichteten Kamera dargestellt. 


höhere TP-Raten als das Vergleichsverfahren DYNP. Der Grund dafür ist zum 
einen die höhere Toleranz der Hypothesenverfolgung gegenüber sporadischen 
Verfolgungsaussetzern durch das Beibehalten von Spuren, die kurzzeitig nicht 
aktualisiert wurden, und zum anderen die höhere Toleranz gegenüber kleinen 
Lokalisierungssprüngen. 


Beide Evaluationssequenzen stellen herausfordernde Szenarien dar. In der An- 
wendung wäre insbesondere durch die vegetationsbedingten und die baulichen 
Veränderungen eine höhere Aktualisierungsfrequenz der Karte vorteilhaft. Je- 
doch zeigen die Experimente, dass auch unter schwierigen Bedingungen noch 
hohe Verfügbarkeiten erreicht und durch die Hinzunahme weiterer Kameras 
deutliche Verbesserungen erzielt werden. 


Campusfahrten 


Im zweiten Experiment werden drei Fahrten auf dem Campus Süd des Karls- 
ruher Instituts für Technologie evaluiert. Die Fahrten auf dem Campus wurden 
jeweils im März, Mai und Juni 2018 durchgeführt. Die erste Sequenz Mcampus 
stellt die Kartierungsfahrt dar. Bei der Aufnahme der beiden Evaluationsse- 


quenzen Ec ampus und ee oie wurde die Strecke in entgegengesetzter Rich- 
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Abbildung 7.10: Darstellung der gefahrenen Trajektorien der Campussequenzen Mcampus (Oran- 
ge), Beie (Blau) und Ges (Lila) in verschiedenen Detailstufen. Die Pfeile zeigen die Be- 
fahrungsrichtungen der einzelnen Trajektorien. 


tung befahren. Dies steigert die Wahrscheinlichkeit fiir Fehlassoziationen, da 
sich die Projektionseigenschaften der rückwärts ausgerichteten Kamera von 
denen der nach vorne orientierten Kameras unterscheiden. Außerdem haben 
die Trajektorien der Evaluationssequenzen an vielen Stellen einen lateralen 
Versatz zur Kartentrajektorie, wodurch die korrekte Assoziation holistischer 
Merkmale zusätzlich erschwert wird. Abbildung 7.9 zeigt Beispielbilder aus 
den aufgezeichneten Sequenzen und Abbildung 7.10 die gefahrenen Trajekto- 
rien. 
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Abbildung 7.11: TP-Raten (Links) und FP-Raten (Rechts) fiir Evaluationssequenz Eb ampus 
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Abbildung 7.12: TP-Raten (Links) und FP-Raten (Rechts) fiir Evaluationssequenz ege 


Prinzipiell ist die Ortswiedererkennung mit nur einer am Fahrzeug montierten 
Kamera bei entgegengesetzter Befahrungsrichtung nicht möglich, da die Kar- 
tenbilder nie aus der gleichen Perspektive gesehen werden. Daher wurden die 
holistischen Deskriptoren der vorwärtsschauenden Kamerabilder zur Karten- 
generierung und die Bilder der rückwärts schauenden Kameras zur Evaluation 
der Konfigurationen HV-1 und DYNP verwendet. In den Experimenten mit 
Konfiguration HV-2 wurden sowohl die Bilder der rückwärts als auch die der 
vorwärts schauenden Kameras zur Kartengenerierung und zur Lokalisierung 
verwendet. 
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Die Abbildungen 7.11 und 7.12 zeigen die erzielten TP- und FP-Raten bei 
der Evaluation von Sequenz Boni bzw. Be casi Es zeigt sich eine verrin- 
gerte Effizienz im Vergleich zu den Ergebnissen der Experimente der inner- 
städtischen Fahrten. Erklären lässt sich dies, wie zuvor beschrieben, durch die 
erschwerten Bedingungen bei der Merkmalsassoziation. Hier zeigt sich eine 
Beschränkung des DIRD-Deskriptors, der empfindlich gegenüber veränder- 
ten Szenendarstellungen durch Paralaxe und unterschiedlichen Abbildungs- 
verhalten ist. Die Experimente zeigen dennoch eine deutliche Verbesserung 
der TP-Rate durch die Verwendung mehrerer Kameras. Außerdem belegen 
die Ergebnisse, dass eine effizientere und flexiblere Verwendung der kartier- 
ten Informationen durch ein MKS möglich ist. Durch die Hypothesenverfol- 
gung abstrahiert das Verfahren von der Zuordnung der Kartenbilder zu den 
aktuell aufgezeichneten Bildern und ermöglicht so eine initiale Fahrzeugori- 
entierungsschätzung, wofür Bilder aus mehreren Kameras mit unterschiedli- 
cher Blickrichtung benötigt werden. 


7.3 Metrische Lokalisierung 


Die metrische Lokalisierung schätzt eine möglichst exakte kartenrelative Lo- 
kalisierungspose P!” in sechs Freiheitsgraden. Voraussetzung dafür ist eine 
ungefähre Schätzung Pi der Fahrzeugpose, welche die metrische Lokali- 
sierung zur Initialisierung benötigt. Darauf basierend werden die folgenden 
vier Schritte durchgeführt: 


1. Auswahl von Kartenlandmarken und -merkmalen 
Im ersten Schritt werden in Abhängigkeit der Initialisierungspose KS 
Landmarken und Merkmale aus der Karte bereitgestellt, die in den Kar- 
tierungsfahrten aus einer ähnlichen Perspektive gesehen wurden wie die 
Merkmale aus den aktuellen Bildern %,. Die entwickelte Kartenstruktur 
stellt für die Bereitstellung der Kartenlandmarken eine effiziente Zu- 
griffsmethode bereit, die in Abschnitt 7.3.1 detailliert beschrieben wird. 


2. Landmarkenassoziation 
Die Assoziation von Kartenmerkmalen zu detektierten Merkmalen ba- 
siert auf dem Deskriptorvergleich gemäß Abschnitt 4.2. Der Suchraum 
wird dabei in Abhängigkeit der Initialisierungspose D' gemäß Ab- 
schnitt 4.1.2 eingeschränkt. 
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3. Optimierung 

Nach der Assoziation von Kartenlandmarken zu detektierten Merkma- 
len wird die finale Lokalisierungspose pix durch eine robuste Optimie- 
rung des Biindelblockausgleichsproblems 5.3 bestimmt. Das Biindel- 
blockausgleichsproblem umfasst in diesem Fall nur die Lokalisierungs- 
pose P!” als Posenparameter und die im vorherigen Schritt assoziierten 
Kartenlandmarken als Landmarkenparameter. Bei der Lösung des Pro- 
blems werden alle Landmarkenparameter fixiert, sodass nur die Loka- 
lisierungspose Dr geschätzt wird, die mit D initialisiert wurde. Zur 
robusten Schätzung wird eine RANSAC-basierte Optimierung durchge- 
führt. Da die Lokalisierung unter Echtzeitbedingungen im Fahrzeug ver- 
wendet wird, endet die numerische Optimierung im Falle der Konver- 
genz oder nachdem eine maximale Berechnungszeit überschritten wur- 
de. Auf diese Weise ist die Laufzeit der Optimierung stets Konstant und 
nach oben begrenzt. 


4. Validierung der Posenschätzung 
Mittels einer Heuristik wird entschieden, ob der Lokalisierungsschät- 
zung P!° vertraut werden kann. Die Heuristik bewertet das Verhält- 
nis Do von Unterstützerlandmarken zu Ausreißerlandmarken und die 
absolute Anzahl n; von Unterstützerlandmarken, die im Rahmen des 
RANSAC-Schrittes identifiziert wurden. Eine Landmarke wird immmer 
dann als Ausreißer gewertet, wenn der Rückprojektionsfehler im Kame- 
rabild größer als ein maximaler Fehler emax ist. Ist die Anzahl n; der Un- 
terstützer größer als eine untere Grenze pon wird die Lokalisierungs- 
schätzung pioc als zuverlässig eingestuft und das Verhältnis rio ignoriert. 
Das Kriterium basiert auf der Annahme, dass die Wahrscheinlichkeit für 
eine falsche Lokalisierung sinkt, je mehr Unterstützer diese Schätzung 
hat. In Fällen, in denen weniger als nom Kartenlandmarken assoziiert 
werden, wird das Verhältnis rio als Entscheidungskriterium verwendet. 
Ist rio größer als ein Schwellwert SCH € [0,1], wird die Schätzung un- 
abhängig von der absoluten Anzahl n; der Unterstützer akzeptiert. In 
diesem Fall ist die Anzahl assoziierter Kartenlandmarken in der Regel 
kleiner als a sodass die Anzahl n; der Unterstiitzer diesen Schwell- 
wert nicht erreichen kann. Die geringe Anzahl assoziierter Kartenland- 
marken kann jedoch einer schwach strukturierten Umgebung oder einer 
gestörten Sicht geschuldet sein und ist daher kein eindeutiger Indikator 
für eine falsche Initialisierung. Empirisch hat sich gezeigt, dass falsche 
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Lokalisierungsschätzungen durch diese Kriterien in der überwiegenden 
Mehrheit der Fälle identifiziert und zurückgewiesen werden. 


7.3.1 Kartengestützte Merkmalsassoziation 


Durch die kartengestützte Merkmalsassoziation werden die kartierten Land- 
marken effizient für die Assoziation zu den aktuell detektierten Merkmalen 
bereitgestellt. Die Kartenstruktur ermöglicht in Abhängigkeit der Initialisie- 
rungspose P'™ eine flexible Bereitstellung jener Kartenlandmarken, die poten- 
ziell von den Kameras des MKS gesehen werden können. Zum einen werden 
vorrangig Landmarken bereitgestellt, die eine hohe Wiedererkennungswahr- 
scheinlichkeit haben. Zum anderen werden die Landmarken unabhängig von 
der umgebenden Struktur räumlich gleichverteilt abgetastet. Eine möglichst 
gleichverteilte Abtastung von Beobachtungen wirkt sich positiv auf die Ro- 
bustheit und Genauigkeit der Lokalisierung aus [5]. Außerdem wird so die 
Anzahl der zu assoziierenden Landmarken pro Ort reduziert und dadurch die 
Laufzeit zur Merkmalsassoziation reduziert. Die entwickelte Struktur der me- 
trischen Lokalisierungskarte ermöglicht die beschriebene Auswahl nahezu 
ohne zusätzlichen Rechenaufwand während der Lokalisierung. 


Struktur der metrischen Lokalisierungskarte 


Die metrische Lokalisierungskarte ist eine zweidimensionale euklidische Ras- 
terkarte, wobei angenommen ist, dass sich das Fahrzeug in einer Ebene be- 
west. Die Rasterkarte speichert nur Zellen an Orten, an denen Kartenmerk- 
male beobachtet wurden. Wie in Kapitel 4 gezeigt wurde, ist die Assoziation 
zwischen einem Kartenmerkmal und einem detektierten Merkmal nur dann 
zuverlässig, wenn die beiden Merkmale aus einer ähnlichen Perspektive be- 
obachtet werden. Daher sind die Landmarken sowie ihre zugehörigen Merk- 
male, wie in Abbildung 7.13 dargestellt, anhand der Beobachtungsposen ihrer 
zugehörigen Merkmale in den Zellen der Rasterkarte abgelegt. Die Beobach- 
tungsposen sind hierbei durch die Kartenposen P, aus der Kartendatenbank 
M, bestimmt. Eine Landmarke wird i. A. von mehreren Zellen bereitgestellt, 
sofern sich die Beobachtungsposen ihrer zugehörigen Landmarken über meh- 
rere Zellen erstrecken. Jede Zelle des Rasters kann separat von der Festplatte 
in den Speicher geladen werden. 
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Abbildung 7.13: Landmarken (Sterne) werden anhand der Aufnahmeposen ihrer zugehörigen 
Merkmale in die zweidimensionale Rasterkarte einsortiert. Die Aufnahmeposen ergeben sich 
durch die Kartenposen P,. Die Pfeile zeigen, in welche Zellen der Rasterkarte die Landmarken 
einsortiert werden. 


Landmarkenbereitstellung 


Zur Bereitstellung und Assoziation der Kartenlandmarken zu den in den auf- 
gezeichneten Bildern %, detektierten Merkmalen werden die folgenden Schrit- 
te durchgeführt: 


e Auswahl geeigneter Zellen 

Durch die extrinsische Kalibrierung kann für jedes Bild i € X; eine 
initiale Kameraposenschätzung ce = pint. K, in Abhängigkeit der In- 
itialisierungspose P!”" berechnet werden. Zur Assoziation von den in 
Bild ir detektierten Merkmalen können mit der Kameraposenschätzung 
ca geeignete Kartenlandmarken und Kartenmerkmale aus der Loka- 
lisierungskarte augewählt werden. Für das Bild J, wird daher die Zelle 
aus der Lokalisierungskarte geladen, in der die zu J, korrespondierende 
Initialisierungskamerapose em liegt. Liegt co in der Nahe des Zellen- 
randes, werden zusätzlich die benachbarten Zellen geladen. Abbildung 
7.14 (Links) stellt diesen Schritt schematisch dar. 
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Abbildung 7.14: Links: Ausgewählte Zellen der metrischen Lokalisierungskarte fiir verschiede- 
ne Kameras. Die Farbe kodiert die Zuordnung der Kameras zu den aus der Lokalisierungskarte 
geladenen Zellen in Abhängigkeit der Initialisierungspose Pt, Rechts: Zweidimensionale polare 
Rasterkartenstruktur innerhalb einer Zelle. In Abhängigkeit des Sichtkegels (Grün), der durch die 
Sichtstrahlen r; und r, definiert ist, werden polare Regionen für die Merkmalsassoziation ausge- 
wählt. Da pirit unsicher ist, wird der Sichtkegel um einen Toleranzbereich (Rot) erweitert. 


e Landmarkenabtastung 

Wie in Abbildung 7.14 (Rechts) gezeigt, sind die kartierten Landmarken 
und ihre zugehörigen Merkmale einer Zelle der Lokalisierungskarte an- 
hand der Landmarkenposition in ein zweidimensionales polares Raster 
einsortiert. Das Einfügen der Landmarken in die polare Rasterstruktur 
pro Zelle ist zuvor bei der Erstellung der Lokalisierungskarte durch- 
geführt worden. Die Winkel- und Distanzauflösung des polaren Ras- 
ters sind wählbare Parameter. Die Landmarken innerhalb einer Region 
des polaren Rasters sind anhand eines Gütekriteriums sortiert abgelegt. 
Dieses Gütekriterium bewertet die Wiedererkennungswahrscheinlich- 
keit einer Landmarke und wird im folgenden Kapitel 8 näher beschrie- 
ben. 


Unter Verwendung der Initialisierungskamerapose cu und der intrin- 
schen Kamerakalibrierung kann der Sichtkegel der Kamera Kg im Kar- 
tenkoordinatensystem bestimmt werden. Dazu werden die Sichtstrah- 
len r,, r, des linken und rechten Randpixels von J, ins Kartenkoordina- 
tensystem transformiert. Darauf basierend werden nur polare Regionen 
innerhalb des geschätzten Sichtkegels für die nachfolgende Merkmals- 
assoziation ausgewählt. Da von einer ungenauen Initialposenschaétzung 
pinit ausgegangen wird, wird der Sichtkegel zusätzlich um einen Tole- 
ranzbereich erweitert. Der grüne Sichtkegel in Abbildung 7.14 (Rechts) 
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stellt dies exemplarisch dar. Der Toleranzbereich ist zusätzlich in Rot 
dargestellt. 


Landmarkenassoziation 

Zur Landmarkenassoziation werden die in Abhängigkeit der Sichtkegel- 
schätzung ausgewählten polaren Regionen sequentiell durchlaufen. Die 
Landmarken aus einer einzelnen polaren Region werden zur Merkmals- 
assoziation sequentiell gemäß ihrer Einsortierungsreihenfolge durchlau- 
fen und zu den in Bild Jr detektierten Mermalen assoziiert. Wurden nmax 
Landmarken einer polaren Region erfolgreich zu den in i, detektierten 
Merkmalen assoziiert oder wird eine maximale Anzahl nicht erfolgrei- 
cher Assoziationsversuche überschritten, wird die nächste Region be- 
trachtet. Aufgrund der Diskretisierung des polaren Rasters werden dabei 
alle Raumrichtungen und Distanzen innerhalb des Sichtkegels gleich- 
verteilt abgetastet und die Landmarken mit der höchsten Wiedererken- 
nungswahrscheinlichkeit pro Region zuerst ausgewählt. Durch die zu- 
sätzliche Beschränkung der Assoziationsversuche pro polarer Region 
ergibt sich außerdem eine obere Grenze des Assoziationsaufwands pro 
bereitgestellter Zelle aus der Lokalisierungsrasterkarte. 


7.3.2 Experimente 


Dieser Abschnitt beschreibt die durchgeführten Experimente zur Evaluation 
der vorgestellten Lokalisierungsmethode. 


Parameterisierung 


In der praktischen Anwendung und in den Experimenten hat eine Zellgröße 
der Lokalisierungsrasterkarte von Im x Im und eine Winkel- und Distanzauf- 
lösung des polaren Rasters von 9° bzw. 0.5m zufriedenstellende Ergebnisse 
erzielt. Abbildung 7.15 zeigt beispielhaft die polare Struktur einer einzelnen 
Zelle bei dieser Parameterisierung. 


Als Entscheidungsschwellwert des RANSAC-Algorithmus zur robusten Schät- 
zung der Lokalisierungspose hat sich ein maximaler Rückprojektionsfehler 
von 6 Pixel als geeignet erwiesen. Der Parameter rio der beschriebenen Heu- 
ristik zur Einschätzung der Zuverlässigkeit einer Lokalisierungsposenschät- 
zung wurde in allen Experimenten zu 0.4 gewählt. Da der zweite Parameter 
oo der Entscheidungsheuristik eine untere Schranke fiir die absolute Anzahl 
der Unterstützerlandmarken darstellt, wird dieser in Abhängigkeit der Anzahl 
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Abbildung 7.15: Darstellung der Zellenstruktur. Die unterschiedlichen eingefärbten Punkte stel- 
len die Landmarken dar. Die Farben der Landmarken kodieren die polare Region, in der die Land- 
marken liegen. Im rot hervorgehoben Bereich lässt sich die Struktur einer kartierten Hausfassade 
gut erkennen. 


und der Art der verwendeten Kameras gewählt. In den Experimenten wurde 
nmin — II x 70 gewählt, wobei |E| die Anzahl der verwendeten Kameras in 
dem entsprechenden Experiment darstellt. Mit dieser Parameterisierung wird 
je nach Anzahl der verwendeten Kameras eine echtzeitfähige Lokalisierung 


mit 8-12Hz erzielt. 
Evaluationskonfigurationen 


Zur Demonstration der Verbesserung der Lokalisierung durch die Verwen- 
dung mehrerer Kameras werden drei verschiedene Kamerakonfigurationen 
basierend auf der Sensorkonfiguration MKS-A (siehe Abschnitt 3.1) vergli- 
chen: 


e MKS-A1: Bei der Konfiguration MKS-A1 wird nur die linke der beiden 
vorwärts gerichteten Kameras verwendet. 


e MKS-A2: Bei der Konfiguration MKS-A2 werden die linke der beiden 
vorwärts gerichteten Kameras und die rückwärts gerichtete Kamera ver- 
wendet. 
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Abbildung 7.16: Projektionen von assoziierten Landmarken in das Bild einer vorwärts gerichte- 
ten Kamera (Links) und einer Seitenkamera (Rechts). 


e MKS-A3: Bei der Konfiguration MKS-A3 werden die beiden vorwärts 
gerichteten Kameras und die rückwärts gerichtete Kamera verwendet. 


Die Hinzunahme der seitlichen Kameras hat in allen Fällen keine nennens- 
werte Veränderung der Ergebnisse erzielt. Die niedrige Einbauposition und 
die zur Fahrtrichtung orthogonale Orientierung der Seitenkameras führen be- 
reits bei geringen Fahrgeschwindigkeiten zu einem großen optischen Fluss 
und Bewegungsunschärfe in den aufgezeichneten Bildern. Daher ist der An- 
teil der kartierten Landmarken mit Merkmalskorrespondenzen aus den Bildern 
der seitlichen Kameras in der Lokalisierungskarte verhältnismäßig gering. Der 
überwiegende Anteil der kartierten Landmarken ist zu Merkmalen aus den 
Bildern der vorwärts bzw. rückwärts gerichteten Kameras assoziiert. Abbil- 
dung 7.16 zeigt beispielhaft Projektionen von Landmarken in die Bilder aus 
einer der vorwärts gerichteten Kameras und einer seitwärts gerichteten Kame- 
ra. Die Abbildung illustriert das unausgeglichene Verhältnis von assoziierten 
Landmarken in den vorderen Kameras und den Seitenkameras. 


Evaluationsmetrik 


Wie bei den Experimenten zur Ortswiedererkennung in Abschnitt 7.2.2 wurde 
eine Karte erstellt, die sowohl Evaluationssequenzen als auch Kartensequen- 
zen umfasst. Nach der Erstellung der Karte wurden alle Merkmale, die aus 
den Evaluationssequenzen entspringen, aus der Kartendatenbank entfernt, so- 
dass von den Evaluationssequenzen ausschließlich die kartierten Trajektorien 
in der Kartendatenbank verbleiben. 


Darauf basierend kann eine geschätzte Lokalisierungspose Pe gegen ihre kor- 
respondierende Grundwahrheitspose pe verglichen werden. Die Genauigkeit 
der Lokalisierung wird durch den Positionsfehler terr und den Orientierungs- 
fehler re; quantifiziert. Der Positionsfehler terr ergibt sich durch die Norm 
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Sequenz / Konfiguration rap? / Ge E te / ir [m] Verfügbarkeit 
El aa / MKS-Al 0.09 / 1.24 0.11 / 0.98 71% 
El „q / MKS-A2 0.06 / 1.24 0.08 / 1.14 94% 
El „at / MKS-A3 0.06 / 1.32 0.07 / 0.92 98% 
Ena / MKS-A1 0.15 / 2.09 0.14 / 1.04 48% 
E2 na / MKS-A2 0.16 / 1.49 0.11/0.91 77% 
Ena / MKS-A3 0.15/1.81 0.1/0.87 86% 


Tabelle 7.1: Tabellarische Darstellung des mittleren / maximalen Rotationsfehlers rar / Year „des 


mittleren / maximalen Positionsfehlers ten” dur: und die erzielte Lokalisierungsverfügbarkeit der 


drei Kamerakonfiguration MKS-Al, MKS-A2, MKS-A3 auf den beiden Testsequenzen Easy und 
E adt 


der Translation tp,,. der Posendifferenz Der = (P!°°)~! - P?" und der Orientie- 


err 


rungsfehler rerr durch den Betrag des Rotationswinkels von Derr. 


Für die Analyse der Lokalisierungsverfiigbarkeit wird die Anzahl erfolgrei- 
cher Lokalisierungsschritte mit der Anzahl der möglichen Lokalisierungen 
verglichen. Dazu wird geprüft, ob der Positionsfehler ter > 1.5m und der Ori- 
entierungsfehler Fer > 3° ist. In den durchgeführten Experimenten hat sich 
gezeigt, dass die Entscheidungsheuristik mit der gewählten Parameterisierung 
in über 95% der Fälle mit diesen Kriterien übereinstimmt. Die Anzahl der 
möglichen Lokalisierungen ergibt sich wie bei der Evaluation der Ortswieder- 
erkennung durch den Abstand von DÉI zur nächsten Kartenpose Por. Ist der 
Abstand der Posen kleiner als 3m, wird angenommen, dass sich das Fahrzeug 
im kartierten Bereich bewegt und eine Lokalisierung möglich ist. 


Städtische Fahrten 


Zur Evaluation der Lokalisierung in vor- und innerstädtischen Regionen wer- 
den die gleichen Sequenzen verwendet, die auch bei den Experimenten zur 
Ortswiedererkennung in Abschnitt 7.2.2 verwendet wurden. Aus der Sequenz 
Mstadt wurde die Karte erstellt und die Sequenzen en und ae werden 
zur Evaluation verwendet. Tabelle 7.1 zeigt den mittleren und den maxima- 
len Lokalisierungsfehler sowie die Lokalisierungsverfiigbarkeit der drei Kon- 
figurationen auf den Evaluationssequenzen. Die Tabelle zeigt, dass die Unter- 
schiede der Fehler der drei Konfigurationen gering sind, wobei die Ergebnis- 
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Abbildung 7.17: Histogramme der Unterstiitzerlandmarkenanzahlen fiir die drei Testkonfigura- 
tionen MKS-A1 (Grün), MKS-A2 (Rot) und MKS-A3 (Blau) bei der Evaluation auf den beiden 
Evaluationssequenzen Ei. (Links) und EN (Rechts). 


se der Konfigurationen MKS-A2 und MKS-A3 etwas geringere Fehlerwerte 
zeigen. Dies entspricht der Erwartung, dass die Lokalisierung robuster und 
genauer bei der Verwendung mehrerer Kameras und der damit verbundenen 
Vergrößerung des Sichtfeldes wird. Die Tabelle zeigt außerdem den Effekt der 
Kartenalterung, da die Genauigkeit und insbesondere die Verfügbarkeit der 
Lokalisierung auf der Evaluationssequenz ES deutlich geringer ist als auf 
der Sequenz E Seng Die Verschlechterung der Verfügbarkeit ist deutlich stärker 
als der Anstieg des Rotations- bzw. Positionsfehlers. Das zeigt, dass die Ent- 
scheidungsheuristik zuverlässig fehlerhafte Lokalisierungsschätzungen detek- 
tiert. Die Ergebnisse zeigen außerdem, dass die Verwendung von mindestens 
zwei Kameras zu einer deutlichen Steigerung der Verfügbarkeit führt. Die Ver- 
teilungen in Abbildung 7.17 zeigen eine höhere Anzahl der Unterstützerland- 
marken bei den Kamerakonfigurationen MKS-A2 und MKS-A3 gegenüber 
der Konfiguration MKS-Al, wodurch sich die Steigerung der Verfügbarkeit 
hauptsächlich erklären lässt. 


Eine Verbesserung der Lokalisierung durch die Hinzunahme zusätzlicher Ka- 
meras zeigt sich insbesondere bei der Durchfahrt durch schwächer struktu- 
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—— MKS-Al = MKS-A2 ——_MKS-A3 


Abbildung 7.18: Oben: Kartentrajektorie (Schwarz) und Grundwahrheitstrajektorie (Gelb) der 
Evaluationsequenz Ell in einem Bereich, in dem die zur Kartentrajektorie parallele Neben- 
spur befahren wird. Mitte: Positionsfehler terr aufgetragen über die gefahrene Distanz in diesem 
Bereich. Unten: Rotationsfehler Ferr aufgetragen über die gefahrene Distanz in diesem Bereich. 
Hervorgehoben sind die Bereiche, in denen mit Konfiguration MKS-A1 keine Lokalisierung her- 
ausgegeben wurde, da keine zuverlässige Lokalisierungspose geschätzt werden konnte. 


rierte Gebiete und bei Befahrung von nicht kartierten parallel verlaufenden 
Nachbarfahrspuren. Die Abbildungen 7.18 und 7.19 zeigen jeweils einen Stre- 
ckenabschnitt aus der Evaluationssequenz Bea bzw. Eos an der sich das 
Fahrzeug auf der Parallelspur zur kartierten Fahrspur bewegt. Die im oberen 
Bereich dargestellten Trajektorien zeigen die Verläufe der gefahrenen Trajek- 
torien und im unteren Bereich sind die evaluierten Lokalisierungsfehler über 
die gefahrene Distanz aufgetragen. Die in Grün hervorgehoben Zeitbereiche 
zeigen Abschnitte, in denen die Lokalisierung mit Konfiguration MKS-Al 
nicht mehr verfügbar ist, wohingegen mit den anderen beiden Konfiguratio- 
nen weiterhin eine gemäß der Entscheidungsheuristik zuverlässige Lokalisie- 
rungsschätzung erzielt wird. Der Lokalisierungsfehler steigt bei den Konfigu- 
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terr[m] 


Terrl °] 


3050 3100 3150 3200 
Distanz [m] 


—— MKS-Al —— MKS-A2 —— _MKS-A3 


Abbildung 7.19: Oben: Kartentrajektorie (Schwarz) und Grundwahrheitstrajektorie (Gelb) der 
Evaluationsequenz Eh i in einem Bereich, in dem eine zur Kartentrajektorie parallele Neben- 
spur befahren wird und danach der kartierte Bereich verlassen wird. Mitte: Positionsfehler terr 
aufgetragen über die gefahrene Distanz in diesem Bereich. Unten: Rotationsfehler Ferr aufgetra- 
gen über die gefahrene Distanz in diesem Bereich. Hervorgehoben sind die Bereiche, in denen 
mit Konfiguration MKS-A1 keine Lokalisierung herausgegeben wurde, da keine zuverlässige Lo- 
kalisierungspose geschätzt werden konnte. 
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Sequenz / Konfiguration rar / hee E te / ir [m] Verfügbarkeit 


El mpus / MKS-Al 0.39 / 2.27 0.19 / 1.24 15% 
El mpus / MKS-A2 0.23 / 1.89 0.11 /0.92 41% 
El mpus / MKS-A3 0.27 11.92 0.16 / 1.43 58% 
E& mpus / MKS-Al 0.39 / 2.52 0.16 / 0.98 11% 
Eĉ mpus / MKS-A2 0.31 /2.29 0.14 / 1.43 29% 
Ets / MKS-A3 0.32 / 2.35 0.16 / 1.45 42% 


Tabelle 7.2: Tabellarische Darstellung des mittleren / maximalen Rotationsfehlers rar / rar des 


mittleren / maximalen Positionsfehlers ic / VU" und die erzielte Lokalisierungsverfügbarkeit 


der drei Kamerakonfiguration MKS-A1, MKS-A2, MKS-A3 auf den beiden Evaluationsequenzen 
1 2 
E Campus und eCampus: 


rationen MKS-A2 und MKS-A3 in diesem Bereich an, da in beiden Fallen 
weniger Landmarken assoziiert werden als bei der Fahrt auf der kartierten 
Spur, wobei mit Konfiguration MKS-A3 der Lokalisierungsfehler im Mittel 
geringer ist. Insbesondere bei dem dargestellten Szenario in Abbildung 7.19 
aus der Evaluationssequenz Fea zeigt sich stellenweise ein deutlicher Unter- 
schied der Fehlerwerte zwischen Konfiguration MKS-A2 und MKS-A3. Auch 
wenn sich die Perspektive der linken und rechten Kamera nur wenig vonein- 
ander unterscheiden, wirkt sich die Hinzunahme der rechten vorderen Kamera 
positiv auf die Genauigkeit der Lokalisierung aus. 


Campusfahrten 


Zur Analyse der Lokalisierungsgenauigkeit und -verfiigbarkeit bei entgegen- 
gesetzter Befahrungsrichtung wird die metrische Lokalisierung mit den Cam- 
pussequenzen durchgefiihrt, die ebenfalls in den Experimenten zur Ortswie- 
dererkennung in Abschnitt 7.2.2 verwendet wurden. Tabelle 7.1 zeigt den mitt- 
leren und den maximalen Lokalisierungsfehler sowie die Lokalisierungsver- 
fiigbarkeit der drei Konfigurationen auf den Sequenzen Bienger und Eege 
Da die Trajektorie der Kartensequenz Mcampus bei der Aufnahme der Eva- 
luationssequenzen ee und Ean in entgegengesetzter Richtung befah- 
ren wurde, sind die Bedingungen fiir die Merkmalsassoziation, wie bereits 
in Abschnitt 7.2.2 beschrieben, wesentlich erschwert. Dies spiegelt sich in 
den größeren Lokalisierungsfehlern und insbesondere auch in den wesentlich 
geringen Lokalisierungsverfügbarkeiten im Vergleich zu den städtischen Se- 
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Abbildung 7.20: Überlagerung der Kartentrajektorie M (Rot) und der Trajektorien der Eva- 
luationssequenzen Em (Lila) und E, (Schwarz) mit dem Luftbild der Freifläche. Luftbilder: 
©Microsoft/Here 


quenzen wieder. Die Lokalisierung mit nur einer Kamera (MKS-A1) ermög- 
licht prinzipiell keine robuste Lokalisierung mehr. Bei der Hinzunahme wei- 
terer Kameras (MKS-A2, MKS-A3) zeigt sich eine deutliche Steigerung der 
Verfügbarkeit. In Übereinstimmung mit den Experimenten der städtischen Se- 
quenzen belegen die Experimente, dass die Verwendung eines MKS insbeson- 
dere unter schwierigen Bedingungen eine Verbesserung der Lokalisierungsgü- 
te erbringt. 


Experimente zur Befahrungsrichtung 


Zur Demonstration der Lokalisierung bei einer Befahrung der kartierten Stre- 
cke in unterschiedliche Richtungen wurde eine meanderförmige Aufnahmese- 
quenz M auf einer freien Fläche in einem verkehrsberuhigten Bereich aufge- 
zeichnet und damit eine Lokalisierungskarte berechnet. Die rote Trajektorie in 
Abbildung 7.20 stellt die Kartentrajektorie dar. Danach wurden in einem zeit- 
lichen Abstand von mehreren Tagen zwei Evaluationsequenzen E, und E, auf- 
gezeichnet. Wie in Abbildung 7.20 dargestellt, wurde die Karte bei der Auf- 
nahme von Evaluationssequenz Em meanderförmig und orthogonal zur Kar- 
tentrajektorie befahren. Bei der Aufnahme von Evaluationssequenz E, wurde 
das kartierte Gebiet willkürlich und zufällig aus verschiedenen Richtungen 
befahren. Bei diesen Experimenten wurden alle Kameras der Kamerakonfi- 
guration MKS-A verwendet, wodurch die Lokalisierungskarte Merkmale be- 
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Sequenz IT tone [m] Verfügbarkeit 


jam 0.8 0.23 72% 
E, 0.92 0.28 70% 


Tabelle 7.3: Mittlerer Rotations- und Positionsfehler sowie die erzielte Lokalisierungsverfügbar- 
keit der Evaluationsequenzen M und R. 


reitstellt, welche die kartierten Landmarken aus nahezu allen Raumrichtungen 
abbilden. Dadurch ist eine Assoziation von in den Seitenkameras detektierten 
Merkmalen zu Landmarken möglich, die bei der Kartengenerierung aus den 
nach vorne bzw. nach hinten gerichteten Kameras beobachtet wurden. Somit 
kann eine Lokalisierung auch bei orthogonaler Befahrung der Karte ermög- 
licht werden. 


Die gelb markierten Bereiche in Abbildung 7.20 zeigen die Orte, an denen 
sich die Evaluationssequenzen Em und E, mit der Kartentrajektorie M über- 
schneiden. Bei allen Überschneidungspunkten konnte sich das Fahrzeug mehr- 
fach aufeinanderfolgend gemäß der vorgestellten Entscheidungsheuristik er- 
folgreich lokalisieren. Die fortlaufende Initialisierung gemäß Abschnitt 7.1 
wurde bei diesen Experimenten durch eine Odometrieschätzung durch SVO 
unterstützt. Auf diese Weise konnte eine zuverlässige Initialisierung bis zum 
nächsten Überkreuzungsbereich der Kartentrajektorie ermöglicht werden. Das 
Verhältnis der Unterstützer zu Ausreißern lag im Mittel bei rio = 0.32 bei einer 
durchschnittlichen Anzahl von n; = 120 Unterstützerlandmarken. Die gerin- 
ge Unterstützerlandmarkenanzahl erklärt sich hauptsächlich durch die unter- 
schiedlichen Einbaupositionen und das unterschiedliche Projektionsverhalten 
der Seitenkameras im Vergleich zu den vorderen Kameras bzw. der hinteren 
Kamera. 


Tabelle 7.3 zeigt den mittleren Positions- und Rotationsfehler aller heraus- 
gegebenen Lokalisierungsschätzungen. Die Ergebnisse zeigen, dass auch bei 
einer beliebig orientierten Durchfahrt durch die Karte eine hohe Verfügbarkeit 
und Genauigkeit mit der vorgestellten Lokalisierungsmethode erzielt wird. 
Die Experimente demonstrieren außerdem die Flexibilität der vorgestellten 
Kartenstruktur, wodurch das umfassende Sichtfeld eines MKS effizient aus- 
genutzt wird. 
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Ein wesentlicher Prozessschritt zur Erzeugung der Lokalisierungskarte MŁ ist 
die Selektion von Landmarken und Merkmalen aus der Kartendatenbank M,,, 
die in der Lokalisierungskarte MŁ gespeichert werden sollen und somit der 
Lokalisierung zur Verfügung stehen. Wie in Abschnitt 7.1 beschrieben, um- 
fasst die Lokalisierungskarte M zwei Kartenschichten, wobei jeweils eine für 
die Ortswiedererkennung und eine für die metrische Lokalisierung benötigt 
wird. Für beide Kartenschichten wird eine Merkmalsselektion durchgeführt. 
Da beide Kartenschichten unterschiedlich verwendet werden und unterschied- 
liche Merkmalstypen bereitstellen, unterscheiden sich dementsprechend die 
Auswahlkriterien voneinander. 


Die Palette der Möglichkeiten zur Auswahl von Merkmalen ist breit gefä- 
chert. Eine Selektion kann anhand verschiedener Gesichtspunkte vorgenom- 
men werden. In Betracht dafür kommen 


geometrische Kriterien, wie beispielsweise die Sichtbarkeit der Land- 
marken aus verschiedenen Perspektiven oder die Ungenauigkeit der 
Landmarkenschätzung. 


merkmalsbasierte Kriterien, wie beispielsweise die lokale Eindeutig- 
keit einer Landmarke anhand ihrer Merkmalsdeskriptoren. 


statistische Kriterien, wie beispielsweise die Wiedererkennungswahr- 
scheinlichkeit von Landmarken in zukünftigen Befahrungen des kartier- 
ten Gebiets. 


semantische Kriterien, wie beispielsweise die Objektklassen, welche 
die Landmarken repräsentieren. 


Verschiedene merkmalsbasierte und statistische Selektionsstrategien von Land- 
marken und Merkmalen wurden im Rahmen einer studentischen Arbeit [84] 
hinsichtlich verschiedener Gesichtspunkte detailliert untersucht und evaluiert. 
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Wie bereits in Abschnitt 1.2 erwähnt, soll die Merkmalsselektion nicht im 
Fokus dieser Arbeit stehen. Da dennoch ein vollumfangliches Gesamtsystem 
präsentiert werden soll, wird in diesem Kapitel ein kurzer Einblick in diesen 
Prozessschritt gegeben. 


Im folgenden Abschnitt 8.1 wird das grundsätzliche Vorgehen zur Merkmals- 
bzw. Landmarkenselektion beschrieben. Darauffolgend wird in Abschnitt 8.2 
exemplarisch eine mögliche Variante zur statistischen Selektion kartierter 
Landmarken anhand einer Schätzung ihrer Wiedererkennungswahrscheinlich- 
keit beschrieben. Im letzten Abschnitt 8.3 wird diese Variante empirisch ana- 
lysiert. 


8.1 Selektionsmethode 


Die entwickelte Selektion zielt darauf ab, die Anzahl der Landmarken und 
Merkmale in der Lokalisierungskarte zu minimieren und gleichzeitig den In- 
formationsgehalt der Lokalisierungskarte hinsichtlich einer robusten und prä- 
zisen Lokalisierung zu maximieren. Grundlegende Anforderungen für die Er- 
zeugung der Lokalisierungskarte sind: 


e Die Selektion soll von der Anzahl der Aufnahmesequenzen abstrahieren 
und eine Auswahlstrategie unter Einbeziehung der Merkmale aus allen 
kartierten Aufnahmesequenzen ermöglichen. 


Es sollen überall im kartierten Bereich ausreichend viele Landmarken 
vorhanden sein, die eine möglichst hohe Wahrscheinlichkeit haben, 
erneut detektiert und assoziiert werden zu können. Da das Spektrum 
der Umgebungsstruktur in städtischen Bereichen sehr vielfätig ist, vari- 
iert dementsprechend die Anzahl, Wiedererkennungswahrscheinlichkeit 
und Eindeutigkeit der Merkmale. So ist beispielsweise die Merkmals- 
ausprägung in Häuserschluchten deutlich dichter und eindeutiger als in 
wäldlichen Gebieten. Es sollte außerdem möglichst in allen Gebieten 
eine ausreichende Anzahl von Merkmalen vorhanden sein, sodass an 
jedem kartierten Ort eine robuste Lokalisierung möglich ist. Des Weite- 
ren ist eine möglichst gleichmäßige Landmarkendichte erstrebenswert, 
sodass die Menge an zu speichernder und zu verarbeitender Kartenin- 
formation im gesamten kartierten Gebiet gleich und nach oben begrenzt 
ist. Auf diese Weise kann garantiert werden, dass die Ladezeit der Lo- 
kalisierungskarte in allen kartierten Bereichen ähnlich ist, wodurch eine 


118 


8.2 Landmarkenselektion 


näherungsweise konstante Laufzeit der Lokalisierung unabhängig vom 
Aufenthaltsort erreicht wird. 


Diese beiden Anforderungen können durch die Anwendung einer Selektion 
pro Ort erfüllt werden. Dafür wird eine Selektionsrasterkarte verwendet, in 
welche die zu selektierenden Landmarken aus der Kartendatenbank eingefügt 
werden. Zur Selektion werden die Landmarken nach den gleichen Kriterien 
wie bei der Erstellung der metrischen Lokalisierungskarte gemäß Abschnitt 
7.3.1 in die Selektionsrasterkarte eingefügt, wodurch gemäß rein geometri- 
scher Kriterien die Sichtbarkeit und Wiedererkennbarkeit der Landmarken si- 
chergestellt wird. Darauffolgend wird pro Zelle eine Selektion durchgeführt, 
wobei in jeder Zelle maximal nmax Landmarken ausgewählt werden, die in die 
Lokalisierungskarte Mt überführt werden. Enthält eine Zelle weniger als nmax 
Landmarken, werden alle in der Zelle liegenden Landmarken ausgewählt. So 
verbleibt auch in schwach strukturierten oder wenig befahrenen Gebieten eine 
minimale Anzahl von Merkmalen und Landmarken. Die Selektionsrasterkarte 
ist dabei zweidimensional und erstreckt sich über die angenommene Befah- 
rungsebene, die durch die Kartenposen aufgespannt wird. 


8.2 Landmarkenselektion 


Die Selektion zur Erstellung der metrischen Lokalisierungskarte bestimmt ei- 
ne Teilmenge der Landmarken L, aus der Kartendatenbank M,,, die zusam- 
men mit ihren korrespondierenden Merkmalskorrespondenzen in die Lokali- 
sierungskarte MZ überführt werden. Bei den Betrachtungen ist angenommen, 
dass die Landmarken in jeder der n kartierten Aufnahmesequenzen prinzipiell 
sichtbar und wiedererkennbar sind. 


Zur Selektion wird jeder Landmarke l; € L, ein statistischer Wiedererken- 
nungswert d; € [0,1] und ein altersbedingter Wiedererkennungswert a; € R 
zugeordnet. Die folgende Auflistung beschreibt die Interpretation und Bestim- 
mung dieser beiden Kennwerte: 


e Statistischer Wiedererkennungswert d; 
Eine Landmarke, die in den bisher kartierten Aufnahmesequenzen oft 
redetektiert wurde, hat eine hohe Wahrscheinlichkeit, während der Lo- 
kalisierung wiedererkannt zu werden. Wurde eine Landmarke l; € Ln in 
r <n Aufnahmesequenzen mindestens einmal wiedererkannt — also um- 
fasst die zu l; zugehörige Merkmalskorrespondenz ©; € ©, mindestens 
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Zur 


k Merkmale aus k verschiedenen Befahrungen - so ist ihr statistischer 
Wiedererkennungswert 


k 
de (8.1) 
n 


Altersbedingter Wiedererkennungswert a; 

Eine Annahme, die insbesondere für längere Betrachtungszeiträume 
gilt, ist, dass jüngere Landmarken eine höhere Wiedererkennungswahr- 
scheinlichkeit haben. Das Alter einer Landmarke ]; ergibt sich aus dem 
Alter des jüngsten Merkmals aus ihrer zugeordneten Merkmalskorre- 
spondenz ®;. Das Alter eines Merkmals ergibt sich wiederum aus dem 
Alter der Aufnahmesequenz S;, in der das Merkmal detektiert wurde. 
Der altersbedingte Wiedererkennungswert a; ergibt sich daher direkt 
aus dem absoluten Aufnahmezeitpunkt der Sequenz Sj. Je jünger das 
Aufnahmedatum und der Aufnahmezeitpunkt einer Sequenz ist, desto 
höher ist der Wiedererkennungswert a; der Landmarken, die zu mindes- 
tens einem Merkmal aus dieser Sequenz assoziiert wurden. 


Selektion wird angenommen, dass der statistische Wiedererkennungs wert 


d; für die Bewertung der Wiedererkennungswahrscheinlichkeit einer Land- 
marke eine höhere Relevanz als der altersbedingte Wiedererkennungswert a; 


hat, 


sofern die Landmarke l; nicht zu alt ist. Für die Selektion werden die 


Landmarken sortiert und die ersten nmax Landmarken pro Zelle der Selek- 
tionsrasterkarte ausgewählt und in der Lokalisierungskarte gespeichert. Die 
Landmarken werden dabei gemäß der folgenden Kriterien sortiert: 
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e Sind zwei Landmarken l; und l; beide jünger oder älter als ein maxima- 
les Alter dyin, d.h. gilt a;,a; >= Amin V 4,4; < Amin, werden die Land- 
marken ausschließlich anhand ihres statistischen Wiedererkennungs- 
werts d; bewertet. Landmarken mit einer höheren Bewertung d; werden 
bevorzugt. Bei gleicher Bewertung d = d; wird die Landmarke l; mit 
dem höheren altersbedingten Wiedererkennungswert a; > a; bevorzugt. 
Sind ihre Altersbewertungen ebenfalls gleich, wird zufällig eine der 
beiden Landmarken bevorzugt. 


Gilt für die ältere Landmarke ]j, a; < amin und für die jüngere Landmar- 
ke pj, aj >= amin, hat l; Vorrang vor L- unabhängig von den statisti- 
schen Wiedererkennungswerten. Auf diese Weise erhöht sich für jünge- 
re Landmarken, die beispielsweise aufgrund ihres jungen Alters noch 


8.3 Experimente 


nicht so häufig wiedererkannt werden konnten, die Wahrscheinlichkeit, 
in die Lokalisierungskarte überführt zu werden. Sehr alte Landmarken 
werden demhingegen häufiger aussortiert. 


Durch diese beiden Kriterien ergibt sich eine Auswahl aktueller und häu- 
fig in verschiedenen Befahrungen wiedererkannter Landmarken, von denen 
angenommen wird, dass sie für eine zuverlässige Lokalisierung von Vorteil 
sind. Die Lokalisierungskarte MŁ adaptiert sich somit stets an die aktuellen 
Umgebungs- und Umweltbedingungen und präferiert Landmarken auf persis- 
tenten Strukturen, da diese sich auch über lange Zeiträume nicht verändern 
und daher fortlaufend wiedererkannt werden. 


8.3 Experimente 


Zur Evaluation der Selektionsstrategie werden zehn Aufnahmesequenzen, die 
im Zeitraum von November 2017 bis Januar 2019 mit Konfiguration MKS-A 
aufgezeichnet wurden, betrachtet. Die Sequenzen wurden in zeitlich aufstei- 
gender Reihenfolge kartiert und nach jeder Iteration eine Selektion durchge- 
führt. Die kartierte Strecke entspricht im Wesentlichen der in rot dargestellten 
Trajektorie in Abbildung 6.15 und umfasst Häuserschluchten, wäldliche Ge- 
biete und größere vorstädtische Straßen. Die kartierte Strecke hat eine Länge 
von ~ 7.5km und die Summe der gefahrenen Distanzen zur Aufzeichnung 
der zehn Aufnahmesequenzen beträgt ~ 83km. Des Weiteren sind größere 
Teile der Strecke im kartierten Zeitraum durch Baustellen verändert worden, 
sodass teilweise auf einer entfernten Parallelspur oder eine Umleitung gefah- 
ren wurde. Tabelle 8.1 gibt eine Übersicht über die Aufnahmezeitpunkte und 
Bedingungen der einzelnen Befahrungen. Des Weiteren stellt Abbildung 8.1 
die zeitlichen Abstände zwischen den Aufnahmesequenzen dar. Der Alters- 
schwellwert amin beträgt sechs Monate. 


Zur Analyse der Selektionsstrategie wurde die Selektion mit den Merkmalen 
und Landmarken aus der Kartendatenbank Mo, welche die gemeinsam kar- 
tierten Landmarken und Merkmale aus allen Sequenzen So bis So umfasst, 
für verschiedene Kompressionsstufen untersucht. Dazu wurde die Selektion 
mit einer konstanten Zellengröße von 0.4m x 0.4m mit unterschiedlichen 
Mindestanzahlen nmax von Landmarken pro Zelle durchgeführt, wobei nmax 
den Grad der Kompression beschreibt. Es werden exemplarisch drei Kom- 
pressionsstufen nmax = 350, max = 150 und nmax = 50 verglichen. Tabelle 
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Sequenz Datum / Zeit Bedingungen 

So 2017-11-20 15:11 bewölkt, wenig Vegetation 

Sı 2018-03-01 14:53 bewölkt, wenig Vegetation 

S2 2018-03-12 10:40 bewölkt, wenig Vegetation, regnerisch, Kamerasystemveränderung 
S3 2018-03-31 15:19 sonnig, wenig Vegetation 

Au 2018-06-25 10:54 wechselhaft, viel Vegetation, Baustellen 

Ss 2018-07-20 14:27 sonnig, viel Vegetation, Baustellen 

So 2018-08-29 13:47 sonnig, viel Vegetation, teilweise StraBenerneuerung 
57 2018-10-22 14:37 sonnig, leichte Vegetation, Kamerasystemveränderung 
Sg 2018-11-29 15:50 bewölkt, wenig Vegetation 

So 2019-01-15 10:31 bewölkt, wenig Vegetation, regenerisch 


Tabelle 8.1: Aufnahmezeitpunkte und Bedingungen der evaluierten Aufnahmesequenzen für die 
Merkmalsselektion. 


So Sı S2 53 S4 Ss S6 Sy Sg So 
11/2017 Ei 01/2019 


Abbildung 8.1: Aufnahmezeitpunkte der Evaluationssequenzen. Die rote Grenze stellt den Al- 
tersschwellwert amin = 6 Monate dar. 


8.2 zeigt die Gesamtanzahl ausgewählter Landmarken für die verschiedenen 
Kompressionsstufen. Bei der höchsten Kompressionsstufe nmax = 50 wird im 
Verhältnis zur niedrigsten evaluierten Kompressionsstufe nmax = 350 nur un- 
gefähr ein Sechstel der Landmarken in der Lokalisierungskarte gespeichert. 
Dies ist insbesondere vorteilhaft für die Laufzeit der Lokalisierung, da die 
Bereitstellungszeit der Zellen der metrischen Lokalisierungskarte zur Loka- 
lisierung näherungsweise linear mit der Anzahl der Landmarken pro Zelle 
einhergeht. 


Abbildung 8.2 zeigt die Verteilung der Landmarken aufgetragen über dem 
statistischen Wiedererkennungswert d; für die verschiedenen Kompressions- 
stufen. Der Anteil der Landmarken, die in mehr als sieben Aufnahmesequen- 
zen wiedererkannt wurden, ist vergleichsweise klein und nicht dargestellt. Die 
Abbildung zeigt gemäß der Erwartung eine Verschiebung der Verteilung zu ei- 
nem größeren Anteil von Landmarken mit höherem statistischen Wiedererken- 
nungswert für steigende Kompressionsstufen. Des Weiteren stellt Abbildung 
8.3 die Verteilungen der Landmarken über ihren altersbedingten Wiedererken- 
nungswert a; für die evaluierten Kompressionsstufen dar. Hier zeigt sich eben- 


122 


8.3 Experimente 


nmax Anzahl Landmarken in Millionen / Anteil zur niedrigsten Kompressionsstufe 


350 ~ 7,3 / 100% 
150 ~3/42% 
50 ~1,2/16% 


Tabelle 8.2: Landmarkenanzahlen fiir verschiedene Kompressionsstufen. 


LOL 


0.1.0.2 0.3 eg 0:1:0% 0.3 P403 0.6.0.7 0:1020. P403 0:607 


Abbildung 8.2: Landmarkenverteilungen aufgetragen über dem statistischen Wiedererkennungs- 
wert d: für verschiedene Kompressionsstufen nmax (Links: 350, Mitte: 150, Rechts: 50). 


So Si S2 An S4 Ss So S7 Sg 


So S1 S2 S3 S4 S5 S6 S7 Sg So 


So S1 S2 53 S4 S5 56 S7 Sg So 
a; EI ai 


Abbildung 8.3: Landmarkenverteilungen aufgetragen über dem altersbedingten Wiedererken- 
nungswert a; für verschiedene Kompressionsstufen nmax (Links: 350, Mitte: 150, Rechts: 50). 
Der altersbedingte Wiedererkennungswert a; korrespondiert direkt zum Alter der Aufnahmese- 
quenzen. 
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falls der erwartete Effekt, dass der Anteil der Landmarken aus jiingeren Befah- 
rungen mit steigender Kompression steigt und die Selektion veraltete Merk- 
male vergisst. Es ist ersichtlich, dass Landmarken mit hohem statistischen 
Wiedererkennungswert bevorzugt werden, da der Anteil der Landmarken mit 
Merkmalen aus den Sequenzen Ay, S2 und S3 sich deutlich weniger verringert 
als Landmarken mit Merkmalen aus den jüngeren Befahrungen S4, S5, Se und 
S7. Da diese Fahrten in den Sommermonaten durchgeführt wurden, wurde ein 
Großteil der persistenten Struktur auf Hauswänden und der Baumverästelung 
durch Blätter und Grünwuchs verdeckt. In den späteren Winterfahrten Sg und 
So mit weniger Vegetation wurden viele dieser Merkmale wieder sichtbar und 
zu Merkmalen aus den Fahrten $1, S2 und $3 im Winter des Vorjahres assozi- 
iert. Da sich durch eine erneute Assoziation einer Landmarke der statistische 
Wiedererkennungswert und der altersbedingte Wiedererkennungswert dieser 
Landmarke erhöht, sind die Landmarken mit Merkmalen aus den Fahrten $j, 
S2 und $3 weniger von der altersbedingten Wiedererkennungswahrscheinlich- 
keit betroffen als die Landmarken aus den Sequenzen Su, Ss, Se und $7. Da 
in den Sommermonaten außerdem größere Teile der Strecke durch Baustellen 
belegt waren, verstärkt sich der Effekt der Landmarkenalterung in den Som- 
mersequenzen Au - S7. Auch wenn die gezeigten Statistiken keine eindeutigen 
Schlussfolgerungen ermöglichen, da die vorgestellte Selektionsstrategie durch 
viele äußeren Einflussfaktoren beeinflusst wird, zeigt sich dennoch eine für die 
Lokalisierung günstige Entwicklung der Landmarkenverteilung. 


Die Verbesserung der Lokalisierungskarte hinsichtlich der Lokalisierungsgüte 
zeigt sich ebenfalls bei der Analyse der Verfügbarkeit erfolgreicher Loka- 
lisierungsschritte. Dafür wurde die Lokalisierungsverfügbarkeit, welche die 
Robustheit und Genauigkeit der Lokalisierung maßgeblich repräsentiert, nach 
jeder Kartierungsiteration evaluiert. Zu diesem Zweck wurde mit den selek- 
tierten Landmarken nach jeder Kartierungsiteration eine Lokalisierungskarte 
berechnet. Für jede der drei Kompressionsstufen nmax = 350, nmax = 150 
und nmax = 50 wurden somit neun Lokalisierungskarten Mi, D? ME berech- 
net, wobei die Sequenzen So,...,Sg in chronologischer Reihenfolge kartiert 
wurden. Die zeitlich nachfolgende Aufnahmesequenz S;+; wurde zur Evalua- 
tion der Lokalisierungskarte MŁ, 0 <i 0 verwendet. Dies entspricht dem 
praxisnahen Anwendungsfall, in dem die Lokalisierungskarte fortlaufend ak- 
tualisiert wird. In der praktischen Anwendung wird in der Regel jedoch nicht 
jede weitere Befahrung kartiert. 
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Abbildung 8.4: Erzielte Lokalisierungsverfügbarkeiten für die jeweilige Evaluationssequenz Ar" 
für die drei Kompressionsstufen nmax = 350 (Oben), nmax = 150 (Mitte) und nmax = 50 (Unten). 
Grüne Balken: Ergebnisse mit der fortlaufend aktualisierten Lokalisierungskarte MI. Blaue Bal- 
ken: Ergebnisse mit der einmalig erstellten Lokalisierungskarte Mir, Rote Balken: Ergebnisse mit 
der Lokalisierungskarte ME, die nur Merkmale und Landmarken aus der jeweils vorgehenden 


Sequenz S; umfasst. 
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Die Lokalisierungsverfiigbarkeiten wurden auf die gleiche Weise wie bei der 
Evaluation der metrischen Lokalisierung in Abschnitt 7.3.2 bestimmt. Die Er- 
gebnisse sind in Abbildung 8.4 dargestellt. Die griinen Balken zeigen die er- 
zielten Lokalisierungsverfiigbarkeiten bei der Lokalisierung der Evaluations- 
sequenz So 1 in die fortlaufend aktualisierte Lokalisierungskarte M für die 
verschiedenen Kompressionsstufen nmax = 350 (Oben), nmax = 150 (Mitte) 
und nmax = 50 (Unten). Zum Vergleich wurde jede Evaluationssequenz Au) 
in die Lokalisierungskarte MŁ, die nur Merkmale und Landmarken aus der 
ersten Sequenz So umfasst, lokalisiert. Die blauen Balken in Abbildung 8.4 
zeigen die erzielten Verfügbarkeiten dieses Experiments. Zusätzlich wurde für 
jede Evaluationssequenz S;+ı eine Lokalisierung mit der Lokalisierungskarte 
ME durchgefiihrt, die nur Merkmale und Landmarken aus der jeweils vorheri- 
gen Aufnahmesequenz S; bereitstellt. In diesem Fall zeigen die roten Balken 
in Abbildung 8.4 die erzielten Ergebnisse. 


Die in Abbildung 8.4 dargestellten Lokalisierungsverfügbarkeiten untermau- 
ern die Schlussfolgerungen aus den Statistiken der altersbedingten und sta- 
tistischen Wiedererkennungswerte. Bei der Lokalisierung mit der Lokalisie- 
rungskarte Mi wird eine höhere Verfügbarkeit auf den Sequenzen S7 - So als 
auf den Sequenzen S4 - Ae erzielt, was sich durch die veränderte Vegetation im 
Winter bzw. Sommer erklären lässt. 


Bei Verwendung der aktuellen Lokalisierungskarte Mi wird erwartungsgemäß 
eine höhere Verfügbarkeit als bei der Lokalisierung mit der fortlaufend älter 
werdenden Karte Mi erzielt. Es zeigt sich jedoch insbesondere bei der Lokali- 
sierung von Sequenz S4 mit der Karte Mi und der Lokalisierung von Sequenz 
S7 mit der Karte ME ein verringerte Verfiigbarkeit als bei den anderen Ite- 
rationen. Dies lässt sich durch den großen zeitlichen Abstand und die damit 
zusammenhängende Umweltveränderung zwischen den Aufnahmesequenzen 
erklären. 


Die Lokalisierung mit der fortlaufend aktualisierten Lokalisierungskarte Mi 
zeigt bei höherer Kompressionsstufe vergleichsweise bessere Verfügbarkeiten 
auf allen Evaluationssequenzen. Durch das Beibehalten von Landmarken auf 
persistenten Strukturen und der Beimischung eines Anteils aktueller Land- 
marken wird über den gesamten Evaluationszeitraum die beste Verfügbar- 
keit erzielt. Die Landmarkenselektion kompensiert u. a. die Verschlechterung 
der Lokalisierungsverfügbarkeit bei den signifikanten Umweltveränderungen 
durch die verschiedenen Jahreszeiten. Je weniger Landmarken in die Loka- 
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lisierungskarte überführt werden, desto stärker zeigt sich dieser Effekt, was 
die Effizienz dieser exemplarisch vorgestellten statistischen Selektionsmetho- 
de belegt. 
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In diesem Kapitel werden Anwendungsfälle vorgestellt, in denen die präsen- 
tierte Kartierungs- und Lokalisierungsmethode im Rahmen verschiedener Pro- 
jekte zum kartenbasierten automatischen Fahren erfolgreich eingesetzt wird. 
Die ursprüngliche Motivation dieser Arbeit entspringt aus dem A2B-Projekt, 
welches am Forschungszentrum Informatik in Kooperation mit der Daimler 
AG durchgeführt wurde. Kapitel 9.1 gibt eine Übersicht über die Rahmen- 
bedingungen, Zielsetzung und Durchführung des A2B-Projekts. Ein weite- 
rer Meilenstein aus Sicht der Anwendung ist das Mercedes-Benz Future Bus- 
Projekt, welches in Abschnitt 9.2 vorgestellt wird. Zuletzt wird in Abschnitt 
9.3 die Verwendung der Verfahren im Adenauer-Projekt vorgestellt, bei dem 
seit Ende 2016 bis zum aktuellen Tag das automatisierte Fahren in vor- und 
innerstädtischen Szenarien in der Kalsruher Oststadt erprobt wird. 


9.1 A2B 


Das zugrunde liegende Konzept für diese Arbeit wurde im Rahmen des A2B- 
Projekts, das zusammen mit der Daimler AG im Zeitraum zwischen Januar 
2014 und Dezember 2015 durchgeführt wurde, entwickelt. Das Projekt ist ein 
Nachfolgeprojekt der Bertha-Benz-Fahrt (BBF) [4] aus dem Jahr 2013. Für 
das A2B-Projekt wurden verschiedene Probleme der Kartengenerierung und 
der Lokalisierungsmethode, die im BBF-Projekt festgestellt wurden, aufge- 
griffen: 


e Automatisierung der Kartengenerierung 
Ein Problem im BBF-Projekt war die Generierung der Karte, die im We- 
sentlichen aus einer Lokalisierungskartenschicht und einer Planungs- 
kartenschicht bestand. Insbesondere die Planungskartenschicht konnte 
nur teilautomatisiert erstellt werden, wodurch viele Arbeitsstunden in 
die manuelle Bearbeitung dieser Karte geflossen sind. Dieser Prozess 
soll durch die automatische Extraktion von Fahrspurmarkierungen aus 
den aufgezeichneten Bildern automatisiert werden [85]. Um die Detek- 
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Abbildung 9.1: Das verwendete seriennahe MKS, welches im Rahmen des A2B-Projekts fiir die 
Lokalisierung verwendet wurde. 
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tionsrate der Fahrspurmarkierungen zu steigern, sollen mehrere Befah- 
rungen der gleichen Strecke automatisch gemeinsam kartiert werden. 


Aktualisierung der Lokalisierungskarte 
Die Lokalisierungskarte soll iterativ aktualisiert und um neue Gebiete 
erweitert werden können. 


Verwendung mehrerer seriennaher Kameras zur Lokalisierung 

Das zweigeteilte Lokalisierungskonzept, welches im BBF-Projekt (Ka- 
pitel 1) eingesetzt wurde, soll durch eine einheitliche Lokalisierungsme- 
thode unter Verwendung eines seriennahen MKS ersetzt werden. Abbil- 
dung 9.1 zeigt das MKS und exemplarische Rohbilder, die zur Durch- 
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Abbildung 9.2: Virtuelle Luftbilder, die durch Stereorekonstruktion und Homographie erzeugt 
wurden. Die Bilder wurden mit den kartierten Fahrzeugposen aus mehreren aufeinanderfolgen- 
den Einzelbildern zusammengefiigt. Im rechten Bild sind zusatzlich detektierte und klassifizierte 
Fahrspurmarkierungen und der eigene Fahrkorridor hervorgehoben. 


fiihrung und Demonstration des Projektfortschritts verwendet wurden. 
Robuste Assoziationsverfahren, wie sie in Kapitel 4 vorgestellt wurden, 
waren fiir eine erfolgreiche Kartengenerierung mit einem solchen MKS 
erforderlich. 


Das Projekt wurde im Januar 2016 im Rahmen einer Live-Demonstration auf 
einer 4 km langen Strecke in Sindelfingen, bei der u. a. die Robustheit und 
Genauigkeit der Lokalisierung unter Echtzeitbedingungen im Fahrzeug de- 
monstiert wurde, erfolgreich abgeschlossen. 


Abbildung 9.2 zeigt virtuelle Luftbilder, die durch Stereorekonstruktion und 
Homographie aus den aufgezeichneten Rohbildern berechnet wurden. Die 
virtuellen Luftbilder wurden aus Einzelbildern aus mehreren aufeinanderfol- 
genden Zeitschritten auf Basis der mit der in Kapitel 6 vorgestellten Karten- 
generierung zuvor erstellten Kartenposen zusammengefiigt (engl. stitched). 
Die dargestellte Fahrbahnoberfläche in Abbildung 9.2 ist präzise rekonstruiert 
und frei von Verknüpfungsartefakten, was die Genauigkeit der Kartenposen 
demonstiert. Außerdem sind detektierte und klassifizierte Fahrspurmarkie- 
rungen dargestellt, die im Rahmen der Live-Demonstration in die aktuellen 
Kamerabilder projiziert wurden. Hiermit wurde die Genauigkeit der Lokalisi- 
sierung im Realbetrieb demonstriert. 
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= 


Abbildung 9.3: Typische Umgebung der Strecke entlang der Bustrasse zwischen Amsterdam und 
Haarlem. 


Eine Besonderheit der Demonstrationsstrecke ist ein ~ 1 km langer Landstra- 
ßenabschnitt mit wenig Umgebungsstruktur. Auf diesem Streckenabschnitt 
konnte sich der Versuchsträger reproduzierbar und in Echtzeit erfolgreich lo- 
kalisieren. Dies zeigt, dass mit einem seriennahen MKS eine Lokalisierung 
mit Punktmerkmalen auch in merkmalsschwachen Umgebungen möglich ist 
und somit ein Problem, welches im Rahmen des BBF-Projekts identifiziert 
wurde, gelöst ist. 


9.2 Future Bus 


Das Mercedes-Benz Future Bus Projekt [86] ist in Kooperation der Daim- 
ler AG mit dem Forschungszentrum Informatik und weiteren Institutionen im 
Zeitraum von Oktober 2015 bis Juli 2016 durchgeführt worden. Das Ziel die- 
ses Projektes war die Inbetriebnahme und Demonstration eines vollautomati- 
siert fahrenden Linienbusses auf einer 20 km langen Bustrasse, die den Stadt- 
teil Amsterdam Schiphol mit der Stadt Haarlem in den Niederlanden verbin- 
det. Die Strecke führt weitestgehend durch ländliche und strukturschwache 
Gebiete und umfasst mehrere Tunneldurchfahrten von bis zu 1,2 km Länge. 
Abbildung 9.3 zeigt die typische Landschaft entlang der Strecke. Auf der Stre- 
cke fahren ausschließlich Linienbusse. Zur Lokalisierung wurde im Rahmen 
des Projektes eine Fusionslösung zwischen einem GNSS-System und der in 
dieser Arbeit vorgestellten Lokalisierung umgesetzt. Dafür wurde der verwen- 
dete Bus u. a. mit einem MKS ausgerüstet. Abbildung 9.4 zeigt schematisch 
die Sichtkegel des verwendeten MKS. Die Lokalisierungsfusion wurde mit ei- 
nen Unscented Kalman Filter (UKF) realisiert. Sowohl das GNSS-System als 
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Abbildung 9.4: Sichtbereiche des verwendeten MKS im Future Bus. 


auch die visuelle Lokalisierung übermitteln neben der Schätzung der Egopose 
eine Schätzung der Unsicherheit in Form einer Kovarianzmatrix an den UKF. 
Insbesondere in Tunneldurchfahrten und bei Durchfahrungen zahlreicher Un- 
terführungen wurde die Lokalisierung ausschließlich durch das visuelle Sys- 
tem sichergestellt, da das GNSS-System hier keine verlässliche Messung lie- 
fern kann. Die wesentlichen Herausforderungen in diesem Projekt waren 


e die Lokalisierung in einer Umgebung mit wenig Umgebungsstruktur. 
Insbesondere im Nahbereich finden sich auf weiten Teilen der Strecke 
nur Fahrbahnstruktur, Masten und Laternen. 


e die Lokalisierung in den langen Tunnelpassagen, in denen nicht nur 
wenig visuelle Struktur vorhanden ist, sondern die zusätzlich auch nur 
schwach und inhomogen beleuchtet ist. 


e die hochgenaue Anpassung der Kartentrajektorie an die GNSS-Mess- 
ungen inbesondere in den Bereichen der Tunnelausfahrten. Da das 
GNSS-Signal bei Tunnelausfahrten nicht-deterministisch wiederein- 
setzt, müssen beide Lokalisierungschätzungen in Position und Orien- 
tierung mit geringer Unsicherheit übereinstimmen, da sonst Lokalisie- 
rungssprünge auftreten. 


Dem Problem mangelnder Umgebungsstruktur wurde durch mehrere Maß- 
nahmen entgegengewirkt. Zum einen wurde bei der Aufnahme der Kartie- 
rungssequenzen mit verringerter Geschwindigkeit gefahren, wodurch die sub- 
sequente Merkmalsassoziation insbesondere in den zur Seite schauenden Ka- 
meras verbessert werden konnte. Zum anderen wurden verschiedene Parame- 
ter der Bildaufzeichnung und der Merkmalsdetektion angepasst und die Lo- 
kalisierungsfrequenz durch zeitlich überlappende Prozessausführung erhöht. 
Auf diese Weise konnte die Initialisierung der metrischen Lokalisierung ver- 
bessert werden. 
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Zur Anpassung der Trajektorie an die GNSS-Trajektorie wurde die extrinsi- 
sche Kalibrierung zwischen dem GNSS-System und dem MKS auf Basis ge- 
fahrener Trajektorien verbessert. Dazu wurden die Signale der aus der Karten- 
generierung entspringenden hochgenauen Trajektorien mit den Signalen der 
GNSS-Trajektorien verglichen. Neben der extrinsischen Kalibrierung wurde 
zusätzlich der zeitliche Versatz der Signale geschätzt. Außerdem wurde der 
Ausgangsbereich der Tunnel in der Karte annotiert und das Wiedereinsetzen 
des GNSS-Signals über eine Rampenfunktion gedämpft. 


Diese Maßnahmen haben dazu geführt, dass sich der Bus kontinuierlich, stö- 
rungsfrei und hochgenau auf der gesamten Strecke lokalisieren konnte. Im Juli 
2016 wurde die Strecke im Rahmen einer mehrtägigen Abschlussdemonstra- 
tion viele Male und vollautomatisch in beiden Richtungen befahren. Hierbei 
waren keine Eingriffe des Sicherheitsfahrers erforderlich. Der Bus fuhr wäh- 
rend der Demonstrationsfahrten kartenbasiert Haltestellen an, sodass stets ein 
behindertengerechtes Ein- und Aussteigen möglich war. Das stellt u. a. die 
hohe Präzision der entwickelten Lokalisierung dar. 


9.3 Adenauer 


Im Adenauer-Projekt wird das automatisierte Fahren in vor- und innerstädti- 
schen Szenarien in Karlsruhe erprobt. Das Projekt wird in Zusammenarbeit 
der Forschungsgruppe “Mobile Perception Systems” des Forschungszentrums 
Informatik Karlsruhe und dem Institut für Mess- und Regelungstechnik des 
Karlsruher Instituts für Technologie weiterentwickelt. Die blau und rot dar- 
gestellen Strecken in Abbildung 6.15 zeigen die beiden Hauptstrecken, auf 
denen seit Anfang des Jahres 2017 in wöchtentlichen Zyklen das vollautoma- 
tisierte Fahren erprobt wird. 


Die in dieser Arbeit vorgestellte Lokalisierung und Kartengenerierung ermög- 
licht seit Beginn des Projekts bis zur Veröffentlichung dieser Arbeit und vor- 
aussichtlich noch lange darüber hinaus die Bereitstellung der präzisen Kar- 
teninformationen für das Verhaltensgenerierungs- und Planungsmodul. Abbil- 
dung 9.5 zeigt beispielhaft die Projektion einer kartierten Ampel, die unter 
Verwendung der Lokalisierungschätzung in die aktuellen Kamerabilder pro- 
jiziert wurde. Auf Basis dieser Projektion wird ein Bildausschnitt bestimmt, 
der als rote Box in Abbildung 9.5 dargestellt ist. Dieser Bildausschnitt ist das 
Eingangsbild für einen gelernten Klassifikator, der das Lichtsignal der Ampel 
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Abbildung 9.5: Klassifikation des Ampelstatus durch ein CNN anhand der Projektion einer kar- 
tierten Ampel in die aktuellen Kamerabilder auf Basis der Lokalisierung. 
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Abbildung 9.6: Trajektorienplanung innerhalb der Planungskarte. 


interpretiert. Das dafür verwendete CNN ist besonders empfindlich gegenüber 
Verschiebungen des Bildausschnitts. Eine Verschiebung von wenigen Pixeln 
führt in den meisten Fällen bereits zu einer falschen Klassifikation. Dieser 
Anwendungsfall zeigt beispielhaft die Notwendigkeit einer hochgenauen 3D- 
Lokalisierung. Die vorgestellte Methode wird diesen Anforderungen reprodu- 
zierbar und über lange Zeiträume im Realbetrieb gerecht und ermöglicht so 
eine robuste und zuverlässige Verhaltensgenerierung an den zahlreichen Am- 
pelszenarien entlang der gefahrenen Strecke. 


Auch die Trajektorienplanung benötigt eine möglichst präzise Lokalisierung 
in der Planungskarte, die Fahrspurbegrenzungen und Fahrkorridore bereit- 
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stellt. Abbildung 9.6 zeigt beispielhaft die geplante Trajektorie innerhalb ei- 
nes Fahrkorridors, der auf Basis der Lokalisierung aus der Karte bereitgestellt 
wurde. Idealerweise findet die Planung der Trajektorie in einem Koordina- 
tensystem statt, welches glatt und sprungfrei zwischen aufeinanderfolgenden 
Planungsschritten transformiert wird. Da Kartenwissen benötigt wird, wirkt 
sich die Lokalisierungsungenauigkeit auf die Trajektorienplanung aus, wobei 
bereits Lokalisierungssprünge von 0,3 - 0,5m zu ungewünschten und unkom- 
fortablen Fahrmanövern führen. In den wöchentlichen Probefahrten zeigt sich, 
dass die vorgestellte Lokalisierungsmethode auch diesen hohen Genauigkeits- 
anforderungen gerecht wird und somit auf allen Streckenabschnitten ein glat- 
tes und natürliches Fahrverhalten erzielt wird. 
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Automatisches Fahren im öffentlichen Straßenverkehr ist eine der großen 
soziotechnischen Herausforderungen der nächsten Jahre. Die Bereitstellung 
von geometrisch verorteten Informationen aus Karten ist gemäß des aktuellen 
Stands der Technik ein notwendiger Bestandteil zur Lösung dieses anspruchs- 
vollen Problems. Je feiner und exakter die kartierten Informationen sind, desto 
höher sind die Anforderungen an die Lokalisierung. 


Aufgrund der Abschirmung der Satellitensignale von GNSS-Systemen durch 
Bäume und Häuser ermöglichen selbst hochgenaue GNSS-Empfänger keine 
verlässliche Lokalisierung in vor- und innerstädtischen Bereichen. Kameraba- 
sierte Lokalisierungsansätze unter Verwendung von Punktmerkmalen sind ei- 
ne vielversprechende Alternative, benötigen jedoch aktuell eine zuvor erstellte 
Karte, die aufgrund einer dynamischen Umwelt altert und schnell unbrauch- 
bar wird. Daraus resultiert die Notwendigkeit, weitere Gebiete in die Karte zu 
integrieren und bereits kartierte Gebiete bei Bedarf zu aktualisieren. Ein wei- 
teres Problem stellen wenig oder uneindeutig strukturierte Umgebungen dar, 
da eine Mindestanzahl von lokal eindeutigen und redetektierbaren Merkmalen 
benötigt wird. 


In dieser Arbeit wurden bestehende Konzepte eines vielversprechenden An- 
satzes aufgegriffen und sukzessive in ein robustes, skalierbares und langzeit- 
verfügbares Gesamtsystem integriert. Im Fokus standen dabei die folgenden 
Aspekte: 


e Skalierbarkeit 
Die Kartengenerierung ist unabhängig von der Größe des zu kartieren- 
den Gebietes und von der Anzahl der Kartierungsiterationen. Die Erstel- 
lung, Aktualisierung und Erweiterung der Karte ist stets mit ressourcen- 
begrenzter Hardware möglich und kann an diese angepasst werden. 
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e Robustheit 
Durch die sorgfältige Auswahl und Validierung der gefundenen Merk- 
malskorrespondenzen, durch Verwendung von Bewegungsmodellen und 
durch Kreuzvalidierung der geschätzten Trajektorien wird eine hohe 
Schätzgüte sichergestellt. 


Effizienz 

Durch Aufteilung des Gesamtproblems in mehrere unabhängige Teil- 
probleme mit beschränkter Komplexität wird eine parallele Verarbei- 
tung der Bildverarbeitung und Optimierung ermöglicht. 


Die Methode setzt eine bestehende Kalibrierung des Multi-Kamera-Systems 
und synchron aufgezeichnete Bilder der verwendeten Kameras voraus. Dar- 
auf basierend wird die Aufzeichnung vorverarbeitet, wobei eine möglichst ge- 
naue Trajektorienrekonstruktion mit Ringschlusserkennung und -optimierung 
durchgeführt wird. Im Anschluss werden die extrahierten Merkmalskorre- 
spondenzen der neuen Befahrung mit denen der Karte durch eine effiziente, 
bildbasierte Merkmalsassoziation verknüpft. Darauf basierend wird die Tra- 
jektorie der neuen Befahrung in einer geteilten und mehrschrittigen Optimie- 
rung an die bestehende Karte angepasst. Durch Hinzunahme von ungenauen 
GNSS-Messungen aus einem seriennahen GNSS-Empfänger in die Karten- 
optimierung kann eine georeferenzierte Kartenbasis erstellt werden. Die ver- 
schiedenen Trajektorienschätzungen werden durch Modelle und geometrische 
Annahmen in sich und zueinander validiert, wodurch die Wahrscheinlichkeit 
für eine Fehlerpropagierung verringert wird. 


Der zweite Schwerpunkt der Arbeit ist die Lokalisierung mit einem MKS. Die 
entwickelte Lokalisierung umfasst zwei Komponenten: 


e Eine Ortswiedererkennung, die durch einen Vergleich von holisti- 
schen Bildmerkmalen der aktuellen Bilder mit allen Kartenmerkmalen 
Aufenthaltshypothesen bestimmt und diese zeitlich verfolgt. Dadurch 
ergeben sich Hypothesenverfolgungen, die eine valide Fahrzeugbewe- 
gung in der Karte aufweisen und somit mit hoher Wahrscheinlichkeit 
den richtigen Aufenthaltsort in der Karte darstellen. 


e Eine metrische Lokalisierung, die eine initiale Posenschätzung entge- 
gennimmt und darauf basierend Kartenlandmarken auswählt und diese 
mit den aktuell detektierten Bildmerkmalen aus allen aufgezeichneten 
Bildern assoziiert. Mit diesen Korrespondenzen wird durch nichtlineare 
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Optimierung eine exakte Relativpose zum Kartenursprung bestimmt. Es 
wurde dafiir eine Kartenstruktur entwickelt, die eine effiziente und fle- 
xible Abtastung der kartierten Landmarken ohne zusätzlichen Rechen- 
aufwand während der Lokalisierung ermöglicht. Die Kartenstruktur ge- 
währleist zum einen eine räumlich möglichst gleichverteilte Abtastung 
der Kartenlandmarken und zum anderen, dass Landmarken mit höherer 
Wiedererkennungswahrscheinlichkeit bevorzugt werden. 


Es wurde in Experimenten gezeigt, dass die vorgestellte Ortswiedererken- 
nung unter Verwendung mehrerer Kamerabilder eine deutliche Steigerung der 
Anzahl richtiger Aufenthaltshypothesen im Vergleich zu bestehenden Verfah- 
ren unter Verwendung einer einzelnen Kamera erzielt. Außerdem wird durch 
das vorgestellte Verfahren eine Schätzung der relativen Fahrzeugorientierung 
ermöglicht, wodurch eine Lokalisierung bei Befahrung in entgegengesetzer 
Kartenrichtung bereitgestellt werden kann. 


Die Experimente zur metrischen Lokalisierung haben ebenfalls eine Steige- 
rung der Lokalisierungverfügbarkeit und -genauigkeit im Vergleich zur Ver- 
wendung von nur einer einzelnen Kamera offenbart. Insbesondere wenn die 
Karte durch saisonale Veränderung der Umwelt veraltet ist oder bei Befah- 
rung einer nicht kartierten Nebenspur zeigt die Multi-Kamera-Lokalisierung 
eine deutliche Robustheits- und Verfügbarkeitssteigerung gegenüber der Ver- 
wendung von nur einer einzelnen Kamera. In weiteren Experimenten wurde 
gezeigt, dass eine genaue Lokalisierung bei Befahrung der Karte mit beliebi- 
ger Fahrzeugorientierung mit der vorgestellten Methode möglich ist. 


Zusätzlich wurde eine statistikbasierte Merkmalsselektion vorgeschlagen, die 
kartierte Landmarken und Merkmale auswählt und in die Lokalisierungskarte 
überführt. Die Auswahl der Landmarken soll eine robuste und langzeitver- 
fügbare Lokalisierung im kartierten Gebiet gewährleisten und gleichzeitig die 
Informationsmenge in der Lokalisierungskarte minimieren. Die vorgestellte 
Auswahlmethode bevorzugt Landmarken, die eine hohe Wahrscheinlichkeit 
haben, in der Zukunft erneut detektiert zu werden und somit potenziell die 
Lokalisierung unterstützen. In Experimenten wurde gezeigt, dass die Selekti- 
onsstrategie stets eine Auswahl aus aktuellen und langzeitverfügbaren Merk- 
malen bereitstellt, mit der die Robustheit und Genauigkeit der Lokalisierung 
über lange Zeiträume aufrecht erhalten werden kann. 
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Zusammenfassend wurde ein vollumfassendes langzeitverfiigbares Kartier- 
ungs- und Lokalisierungssystem vorgestellt, das in mehreren praktischen An- 
wendungen und Projekten reproduzierbar und robust kartenbasiertes automa- 
tisches Fahren in städtischen und ländlichen Regionen sowie bei kilometerlan- 
gen Tunneldurchfahrten mit wenig Umgebungsstruktur ermöglicht hat. 
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Hochautomatisierte Fahrzeuge benötigen eine präzise Eigenlokalisierung, 
um sich zuverlässig, sicher und effizient im innerstädtischen Straßenverkehr 
zu bewegen. Jedoch kann in städtischen Bereichen keine zuverlässige 
Lokalisierung durch globale Satellitennavigationssysteme realisiert wer- 
den. Bildbasierte Lokalisierungsmethoden, die eine vorab erstellte Loka- 
lisierungskarte verwenden, stellen hier eine robuste und kostengünstige 
Alternative dar. 

Die vorliegende Arbeit präsentiert eine vollumfängliche Methode zur Erstel- 
lung und Aktualisierung von hochgenauen 3D-Lokalisierungskarten und 
eine Methode zur präzisen und robusten Lokalisierung mit Multi-Kamera- 
Systemen. Den ersten Schwerpunkt der Arbeit stellt die Aktualisierung 
und Erweiterung einer bestehenden Lokalisierungskarte dar. Auf diese 
Weise kann eine bestehende Karte fortlaufend und bedarfsgerecht an 
Veränderungen der Umwelt angepasst werden. Es wird eine robuste Kar- 
tengenerierungsmethode vorgestellt, die eine fortlaufende und skalierbare 
Kartenaktualisierung ermöglicht. Den zweiten Schwerpunkt der Arbeit 
stellt die Verwendung eines Multi-Kamera-Systems zur Lokalisierung dar, 
wodurch eine robuste und hochgenaue Lokalisierung ermöglicht wird. Es 
wird gezeigt, dass ein Multi-Kamera-System zu einer wesentlichen Steige- 
rung der Lokalisierungsgüte gegenüber eines Mono-Kamera-Systems führt. 
Die hier vorgestellte Kartengenerierungs- und Lokalisierungsmethode 
wurde in mehreren Projekten zum automatisierten Fahren unter Realbe- 
dingungen erfolgreich eingesetzt und ist seit mehreren Jahren das Fun- 
dament zur Erprobung des vollautomatischen Fahrens in innerstädtischen 
Gebieten in Karlsruhe. 
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